"""Zahlungs-Mails per IMAP abholen und in den Eingang legen. ``imaplib`` und ``email`` sind Standardbibliothek – keine weitere Abhängigkeit. Der Ablauf ist bewusst vorsichtig: Es wird nichts stillschweigend gebucht. Eine Mail wird gelesen, ausgewertet und als Eintrag im Eingang abgelegt; buchen tut der Nutzer. Erkennt die Auswertung ein Feld nicht sicher, bekommt der Eintrag den Status ``unclear`` und wartet, statt einen geratenen Betrag zu erzeugen. Mailtexte sind Daten, keine Anweisungen. Ausgewertet wird ausschliesslich in feste Felder (siehe ``mail_parse``); nichts aus einer Mail steuert den Ablauf. """ from __future__ import annotations import email import email.policy import email.utils import imaplib import logging from datetime import date, datetime, timedelta, timezone from sqlalchemy.orm import Session from ..models import Account, InboxItem, InboxSource, InboxStatus, MailSender, MailSource, User from . import geheimnis, mail_parse log = logging.getLogger(__name__) # Nur die ersten Kilobytes je Mail behalten. Der Rest ist Rechtstext und # Fusszeilen – für die Nachvollziehbarkeit reicht der Anfang. MAX_TEXT = 8000 # Wie weit zurück beim ersten Abruf gesucht wird. ERSTER_ABRUF_TAGE = 14 class MailFehler(RuntimeError): """Verbindung oder Anmeldung hat nicht geklappt – mit lesbarer Ursache.""" def _verbinden(quelle: MailSource) -> imaplib.IMAP4: passwort = geheimnis.entschluesseln(quelle.password_enc) if passwort is None: raise MailFehler( "Das gespeicherte Passwort lässt sich nicht mehr entschlüsseln. " "Wurde das Server-Geheimnis getauscht? Dann bitte neu eintragen." ) try: verbindung = ( imaplib.IMAP4_SSL(quelle.host, quelle.port) if quelle.use_ssl else imaplib.IMAP4(quelle.host, quelle.port) ) except OSError as e: raise MailFehler(f"Keine Verbindung zu {quelle.host}:{quelle.port} – {e}") from e try: verbindung.login(quelle.username, passwort) except imaplib.IMAP4.error as e: try: verbindung.logout() except Exception: pass raise MailFehler(f"Anmeldung abgelehnt: {e}") from e return verbindung def _ordnername(zeile: bytes) -> str: """Aus einer LIST-Antwort den reinen Ordnernamen holen.""" text = zeile.decode("utf-8", "replace") if '"' in text: return text.rsplit('"', 2)[-2] return text.split()[-1] def liste_ordner(quelle: MailSource) -> list[str]: """Ordner des Postfachs – für die Auswahl in der Oberfläche.""" verbindung = _verbinden(quelle) try: code, zeilen = verbindung.list() if code != "OK": raise MailFehler("Ordnerliste nicht abrufbar") return sorted({_ordnername(z) for z in zeilen if z}) finally: try: verbindung.logout() except Exception: pass def teste(quelle: MailSource) -> dict: """Verbindungstest mit klarer Rückmeldung statt stillem Nichtstun.""" ordner = liste_ordner(quelle) return {"ok": True, "folders": ordner, "count": len(ordner)} def _text_der_mail(msg) -> tuple[str, str]: """Betreff und sichtbarer Text. HTML wird zu Text, wenn nichts anderes da ist.""" betreff = str(msg["Subject"] or "") teil = msg.get_body(preferencelist=("plain",)) if teil is not None: try: return betreff, teil.get_content() except Exception: pass teil = msg.get_body(preferencelist=("html",)) if teil is not None: try: return betreff, mail_parse.html_zu_text(teil.get_content()) except Exception: pass return betreff, "" def _passender_absender(absender: list[MailSender], von: str, betreff: str) -> MailSender | None: """Erste Zuordnung, deren Filter greifen. Ohne Filter passt sie auf alles.""" von_klein, betreff_klein = von.lower(), betreff.lower() for a in absender: if a.from_contains and a.from_contains.lower() not in von_klein: continue if a.subject_contains and a.subject_contains.lower() not in betreff_klein: continue return a return None def _suchkriterium(quelle: MailSource) -> str: """Ungelesene, sonst ab dem letzten Abruf – nie das ganze Postfach.""" if quelle.mark_seen and not quelle.done_folder: return "(UNSEEN)" seit = quelle.last_poll_at.date() if quelle.last_poll_at else ( date.today() - timedelta(days=ERSTER_ABRUF_TAGE) ) return f'(SINCE "{seit.strftime("%d-%b-%Y")}")' def hole_neue(db: Session, quelle: MailSource) -> dict: """Neue Mails abholen und als Einträge im Eingang ablegen.""" user = db.get(User, quelle.owner_id) absender = ( db.query(MailSender).filter(MailSender.source_id == quelle.id).order_by(MailSender.id).all() ) konten = {a.id: a for a in db.query(Account).filter(Account.owner_id == quelle.owner_id)} verbindung = _verbinden(quelle) neu = uebersprungen = unklar = 0 try: code, _ = verbindung.select(f'"{quelle.folder}"') if code != "OK": raise MailFehler(f"Ordner „{quelle.folder}“ nicht gefunden") code, daten = verbindung.search(None, _suchkriterium(quelle)) if code != "OK": raise MailFehler("Suche im Postfach fehlgeschlagen") for uid in (daten[0] or b"").split(): code, roh = verbindung.fetch(uid, "(RFC822)") if code != "OK" or not roh or not isinstance(roh[0], tuple): continue msg = email.message_from_bytes(roh[0][1], policy=email.policy.default) message_id = str(msg["Message-Id"] or f"uid-{uid.decode()}") # Message-ID statt UID: Die UID vergibt der Server beim Verschieben neu. schon = ( db.query(InboxItem.id) .filter(InboxItem.owner_id == quelle.owner_id, InboxItem.source == InboxSource.mail, InboxItem.external_id == message_id) .first() ) if schon is not None: uebersprungen += 1 _nachbereiten(verbindung, quelle, uid) continue betreff, text = _text_der_mail(msg) von = str(msg["From"] or "") zuordnung = _passender_absender(absender, von, betreff) if zuordnung is None: uebersprungen += 1 continue gesendet = None if msg["Date"]: try: gesendet = email.utils.parsedate_to_datetime(msg["Date"]) except (TypeError, ValueError): gesendet = None e = mail_parse.parse(betreff, text, gesendet) konto = konten.get(zuordnung.account_id) if zuordnung.account_id else None tag = e.datum.wert if e.datum else (gesendet.date() if gesendet else date.today()) betrag = e.betrag.wert if e.betrag else 0 ausgabe = (e.richtung.wert if e.richtung else "expense") == "expense" status = InboxStatus.pending if e.unklar or betrag == 0 or konto is None: status = InboxStatus.unclear unklar += 1 db.add(InboxItem( owner_id=quelle.owner_id, source=InboxSource.mail, status=status, account_id=konto.id if konto else None, date=tag, amount_cents=-betrag if ausgabe else betrag, currency=(e.waehrung.wert if e.waehrung else (konto.currency if konto else "EUR")), payee=(e.empfaenger.wert if e.empfaenger else None), note=betreff[:255] or None, external_id=message_id[:255], raw_text=text[:MAX_TEXT], )) neu += 1 _nachbereiten(verbindung, quelle, uid) quelle.last_poll_at = datetime.now(timezone.utc) quelle.last_error = None db.commit() finally: try: verbindung.logout() except Exception: pass return {"neu": neu, "uebersprungen": uebersprungen, "unklar": unklar} def _nachbereiten(verbindung: imaplib.IMAP4, quelle: MailSource, uid: bytes) -> None: """Als gelesen markieren oder verschieben, damit nichts zweimal kommt.""" try: if quelle.mark_seen: verbindung.store(uid, "+FLAGS", "\\Seen") if quelle.done_folder: # MOVE gibt es nicht überall; COPY + DELETE ist der sichere Weg. code, _ = verbindung.copy(uid, f'"{quelle.done_folder}"') if code == "OK": verbindung.store(uid, "+FLAGS", "\\Deleted") except Exception as e: # Nachbereitung darf den Abruf nie kippen log.warning("Mail konnte nicht nachbereitet werden: %s", e) def abruf_mit_fehlerbehandlung(db: Session, quelle: MailSource) -> dict: """Wie ``hole_neue``, schreibt einen Fehler aber in die Quelle statt zu werfen.""" try: return hole_neue(db, quelle) except MailFehler as e: quelle.last_error = str(e)[:500] quelle.last_poll_at = datetime.now(timezone.utc) db.commit() return {"neu": 0, "uebersprungen": 0, "unklar": 0, "fehler": str(e)}