Zusammenfassung: Automatische E-Mail-Analyse mit lokalem LLM

Einleitung

• Ein Kollege fragte, ob man E-Mails automatisch analysieren kann.
• Ziel des Videos: Vorstellung eines Programms, das E-Mails aus einem IMAP-Postfach ausliest und deren Inhalte (Betreff, Body, Anhänge) analysiert.

Funktionsweise des Programms

• E-Mail-Abfrage:

  • Das Programm verbindet sich mit einem IMAP-Server und liest alle E-Mails aus.
  • Es werden der Betreff, der Textkörper und Anhänge (Fokus auf Bilder) verarbeitet.

• Bildverarbeitung und OCR:

  • Anhänge werden mittels eines Bilderkennungs-LLM untersucht, um zu erkennen, was auf den Bildern zu sehen ist.
  • Falls Text auf den Bildern vorhanden ist, wird mittels OCR der Text ausgelesen.

• Datenanalyse:

  • Titel und Body der E-Mail werden an ein lokales LLM (olama) übergeben, das den Inhalt weiter analysiert.
  • Weitere relevante Daten wie Adressinformationen, Kundennummern und andere Schlüsselwerte werden extrahiert.
  • Die extrahierten Informationen werden in ein JSON-Format überführt.

• E-Mail-Verwaltung:

  • Nach der Analyse wird die E-Mail in einen "Gelesen"-Ordner verschoben (Archivierung statt Löschen).
  • Gleichzeitig wird in einem separaten "Analyse"-Ordner eine E-Mail mit den zusammengefassten Daten abgelegt.

Technische Umsetzung

• Lokaler Betrieb:

  • Alle Analysen erfolgen lokal auf dem Rechner (kein Datentransfer ins Internet).
  • Verwendung von lokal ausgeführten Modellen (z. B. olama, Facebook-Modell, OCR-Tools) basierend auf PyTorch und Open-Source-Ressourcen (Hugging Face).

• Programmierumgebung:

  • Das Skript ist in Python geschrieben und verarbeitet die E-Mails automatisiert.
  • Es wurden bestehende Programme zusammengeführt und angepasst, um die gesamte Pipeline zu realisieren.

Demonstration anhand von Beispielen

• Beispiel-E-Mails:

  • Schadensmeldung:
    • Enthält eine Schadensmeldung mit Bildmaterial eines Autounfalls und einem Polizeibericht.
  • Verstopftes Waschbecken:
    • Eine E-Mail mit Bild eines verstopften Waschbeckens; OCR wird eingesetzt, um etwaige Bildtexte auszulesen.
  • Weitere Beispiel-Mail:
    • Eine ungewöhnliche Testmail, die ebenfalls analysiert wird.

• Ergebnisse:

  • Die extrahierten Daten (z. B. Adresse, Telefonnummer, Kundennummer, Schadensdetails) werden in JSON umgewandelt.
  • Analysen zeigen, dass das System trotz einiger Stabilitätsprobleme weitgehend korrekt arbeitet.

Fazit

• Das vorgestellte System demonstriert, dass E-Mails automatisiert und lokal analysiert werden können.
• Die Integration von E-Mail-Abruf, OCR, Bilderkennung und Textanalyse ermöglicht eine umfassende Datenextraktion.
• Das System läuft lokal (auf einem MacBook Pro M1 mit 32 GB RAM) und bietet Ansatzpunkte für weitere Optimierungen und Anpassungen.