feat: Mail-Abruf sagt, was mit den Treffern passiert ist – und jede Buchung,

woher sie kommt

Die Meldung nach einem Abruf zaehlte geprueft, neu und unklar – aber nicht
"schon bekannt". Wurden alle Treffer beim vorigen Abruf schon uebernommen,
stand da "0 neu", und es sah aus, als waere nichts passiert, obwohl die
Eintraege im Eingang liegen. Die Zahl steht jetzt dabei.

Und die uebergangenen Mails wurden aufgelistet, die unklaren nicht: nur eine
Zahl, ohne zu sagen, welche Mail gemeint ist oder was ihr fehlt. Jetzt stehen
sie mit Grund da – kein Konto zugeordnet, kein Betrag erkannt, Richtung unklar,
Zahlung noch nicht ausgefuehrt.

Ausserdem traegt jede Buchung jetzt ihre Herkunft: Bank, Mail, Kurzbefehl,
Datei-Import oder von Hand. In der Buchungsliste steht sie als kleines
Kennzeichen unter dem Text. Ermittelt wird sie mit einer Sammelabfrage, nicht
je Zeile.

Bei einem Uebertrag zeigen zwei Eingangs-Eintraege auf dieselbe Buchung; die
Gegenseite hat Certain selbst angelegt, gemeint ist die echte Quelle. Genau
dafuer gibt es einen Test.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
Guido
2026-08-27 13:11:18 +02:00
co-authored by Claude Opus 5
parent 1084cf7c17
commit 61dc6c7f0b
9 changed files with 139 additions and 14 deletions
+38 -6
View File
@@ -30,7 +30,33 @@ from .accounts import base_currency
router = APIRouter(prefix="/transactions", tags=["transactions"]) router = APIRouter(prefix="/transactions", tags=["transactions"])
def to_out(db: Session, txn: Transaction, base: str, ccy_by_account: dict[int, str]) -> TransactionOut: def _herkunft(db: Session, user: User, txns: list[Transaction]) -> dict[int, str]:
"""Woher jede Buchung stammt.
Der Eingangs-Eintrag sagt es für alles, was über Bank, Mail oder Kurzbefehl
kam; sonst entscheidet der Import-Stapel: mit ihm aus einer Datei, ohne ihn
von Hand. Als Sammelabfrage, nicht je Zeile – die Liste geht bis 500.
"""
ids = [t.id for t in txns]
if not ids:
return {}
aus_eingang: dict[int, str] = {}
for txn_id, quelle in db.query(InboxItem.transaction_id, InboxItem.source).filter(
InboxItem.owner_id == user.id, InboxItem.transaction_id.in_(ids)
):
# Bei einem Übertrag zeigen ZWEI Einträge auf dieselbe Buchung. Die
# Gegenseite hat Certain selbst angelegt; gemeint ist die echte Quelle.
if txn_id in aus_eingang and quelle.value == "transfer":
continue
aus_eingang[txn_id] = quelle.value
return {
t.id: aus_eingang.get(t.id, "csv" if t.import_batch_id is not None else "manuell")
for t in txns
}
def to_out(db: Session, txn: Transaction, base: str, ccy_by_account: dict[int, str],
herkunft: dict[int, str] | None = None) -> TransactionOut:
acc_ccy = ccy_by_account.get(txn.account_id, "EUR") acc_ccy = ccy_by_account.get(txn.account_id, "EUR")
if base == "EUR": if base == "EUR":
amount_base = txn.amount_eur_cents amount_base = txn.amount_eur_cents
@@ -54,6 +80,7 @@ def to_out(db: Session, txn: Transaction, base: str, ccy_by_account: dict[int, s
budget_treatment=txn.budget_treatment, budget_treatment=txn.budget_treatment,
budget_category_id=txn.budget_category_id, budget_category_id=txn.budget_category_id,
import_batch_id=txn.import_batch_id, import_batch_id=txn.import_batch_id,
herkunft=(herkunft or {}).get(txn.id, "manuell"),
payee=txn.payee, payee=txn.payee,
description=txn.description, description=txn.description,
notes=txn.notes, notes=txn.notes,
@@ -117,7 +144,8 @@ def list_transactions(
rows = q.order_by(Transaction.date.desc(), Transaction.id.desc()).limit(limit).offset(offset).all() rows = q.order_by(Transaction.date.desc(), Transaction.id.desc()).limit(limit).offset(offset).all()
base = base_currency(db, user) base = base_currency(db, user)
ccy = _currency_map(db, user) ccy = _currency_map(db, user)
return [to_out(db, t, base, ccy) for t in rows] woher = _herkunft(db, user, rows)
return [to_out(db, t, base, ccy, woher) for t in rows]
@router.post("", response_model=TransactionOut, status_code=status.HTTP_201_CREATED) @router.post("", response_model=TransactionOut, status_code=status.HTTP_201_CREATED)
@@ -161,7 +189,8 @@ def create_transaction(
db.add(txn) db.add(txn)
db.commit() db.commit()
db.refresh(txn) db.refresh(txn)
return to_out(db, txn, base_currency(db, user), _currency_map(db, user)) return to_out(db, txn, base_currency(db, user), _currency_map(db, user),
_herkunft(db, user, [txn]))
@router.get("/{txn_id}", response_model=TransactionOut) @router.get("/{txn_id}", response_model=TransactionOut)
@@ -169,7 +198,8 @@ def get_transaction(
txn_id: int, db: Session = Depends(get_db), user: User = Depends(get_current_user) txn_id: int, db: Session = Depends(get_db), user: User = Depends(get_current_user)
): ):
txn = get_owned(db, Transaction, txn_id, user) txn = get_owned(db, Transaction, txn_id, user)
return to_out(db, txn, base_currency(db, user), _currency_map(db, user)) return to_out(db, txn, base_currency(db, user), _currency_map(db, user),
_herkunft(db, user, [txn]))
@router.patch("/{txn_id}", response_model=TransactionOut) @router.patch("/{txn_id}", response_model=TransactionOut)
@@ -215,7 +245,8 @@ def update_transaction(
db.commit() db.commit()
db.refresh(txn) db.refresh(txn)
return to_out(db, txn, base_currency(db, user), _currency_map(db, user)) return to_out(db, txn, base_currency(db, user), _currency_map(db, user),
_herkunft(db, user, [txn]))
class TransactionTransferIn(BaseModel): class TransactionTransferIn(BaseModel):
@@ -246,7 +277,8 @@ def make_transfer(txn_id: int, payload: TransactionTransferIn,
) from e ) from e
db.commit() db.commit()
db.refresh(txn) db.refresh(txn)
return to_out(db, txn, base_currency(db, user), _currency_map(db, user)) return to_out(db, txn, base_currency(db, user), _currency_map(db, user),
_herkunft(db, user, [txn]))
@router.delete("/{txn_id}", status_code=status.HTTP_204_NO_CONTENT) @router.delete("/{txn_id}", status_code=status.HTTP_204_NO_CONTENT)
+2
View File
@@ -326,6 +326,8 @@ class TransactionOut(BaseModel):
# Woher die Buchung stammt, fuer die Arbeitsliste: Ist sie gesetzt, # Woher die Buchung stammt, fuer die Arbeitsliste: Ist sie gesetzt,
# kam die Buchung aus einem Datei-Import. # kam die Buchung aus einem Datei-Import.
import_batch_id: int | None = None import_batch_id: int | None = None
# Woher die Buchung stammt: bank, mail, shortcut, transfer, csv, manuell.
herkunft: str = "manuell"
payee: str | None payee: str | None
description: str | None description: str | None
notes: str | None notes: str | None
+19 -2
View File
@@ -214,6 +214,10 @@ def hole_neue(db: Session, quelle: MailSource, tage: int | None = None) -> dict:
# Was durchgefallen ist, mit Absender und Betreff – sonst raet man beim # Was durchgefallen ist, mit Absender und Betreff – sonst raet man beim
# Einrichten, was in den Filter gehoert. # Einrichten, was in den Filter gehoert.
ohne_zuordnung: list[dict] = [] ohne_zuordnung: list[dict] = []
# Und die, die eine Regel TRAFEN, aber nicht zu lesen waren. Ohne diese
# Liste steht am Ende nur eine Zahl, und man weiss nicht, welche Mail
# gemeint ist oder was ihr fehlt.
unklar_liste: list[dict] = []
try: try:
code, _ = verbindung.select(f'"{quelle.folder}"') code, _ = verbindung.select(f'"{quelle.folder}"')
if code != "OK": if code != "OK":
@@ -281,6 +285,19 @@ def hole_neue(db: Session, quelle: MailSource, tage: int | None = None) -> dict:
if e.unklar or betrag == 0 or konto is None: if e.unklar or betrag == 0 or konto is None:
status = InboxStatus.unclear status = InboxStatus.unclear
unklar += 1 unklar += 1
gruende = []
if konto is None:
gruende.append("kein Konto zugeordnet")
if betrag == 0:
gruende.append("kein Betrag erkannt")
for teil in e.unklar:
gruende.append({
"richtung": "Richtung unklar (Ein- oder Ausgang?)",
"betrag": "Betrag nicht eindeutig",
"status": "Zahlung noch nicht ausgeführt",
}.get(teil, teil))
unklar_liste.append({"from": von, "subject": betreff,
"gruende": sorted(set(gruende))})
db.add(InboxItem( db.add(InboxItem(
owner_id=quelle.owner_id, owner_id=quelle.owner_id,
@@ -310,7 +327,7 @@ def hole_neue(db: Session, quelle: MailSource, tage: int | None = None) -> dict:
# nicht "stimmt der Ordner", sondern "wie weit wurde ueberhaupt gesucht". # nicht "stimmt der Ordner", sondern "wie weit wurde ueberhaupt gesucht".
return {"gefunden": gefunden, "neu": neu, "uebersprungen": uebersprungen, return {"gefunden": gefunden, "neu": neu, "uebersprungen": uebersprungen,
"unklar": unklar, "seit": seit.isoformat(), "unklar": unklar, "seit": seit.isoformat(),
"ohne_zuordnung": ohne_zuordnung} "ohne_zuordnung": ohne_zuordnung, "unklar_liste": unklar_liste}
def _nachbereiten(verbindung: imaplib.IMAP4, quelle: MailSource, uid: bytes) -> None: def _nachbereiten(verbindung: imaplib.IMAP4, quelle: MailSource, uid: bytes) -> None:
@@ -336,5 +353,5 @@ def abruf_mit_fehlerbehandlung(db: Session, quelle: MailSource) -> dict:
quelle.last_poll_at = datetime.now(timezone.utc) quelle.last_poll_at = datetime.now(timezone.utc)
db.commit() db.commit()
return {"gefunden": 0, "neu": 0, "uebersprungen": 0, "unklar": 0, return {"gefunden": 0, "neu": 0, "uebersprungen": 0, "unklar": 0,
"seit": None, "seit": None, "unklar_liste": [],
"ohne_zuordnung": [], "fehler": str(e)} "ohne_zuordnung": [], "fehler": str(e)}
+32
View File
@@ -453,3 +453,35 @@ def test_lohnzahlung_auf_zwei_konten_wird_abgefangen(admin):
assert r.status_code == 409, r.text assert r.status_code == 409, r.text
assert admin.get(f"/api/accounts/{revolut['id']}").json()["balance_cents"] == 157500, \ assert admin.get(f"/api/accounts/{revolut['id']}").json()["balance_cents"] == 157500, \
"das Geld darf nicht zweimal dastehen" "das Geld darf nicht zweimal dastehen"
def test_jede_buchung_sagt_woher_sie_kommt(admin):
"""Ohne das sieht man einer Buchung nicht an, ob sie von der Bank kam, aus
einer Mail, aus einer Datei oder von Hand."""
konto = _konto(admin, name=f"Herkunft {secrets.token_hex(3)}", currency="CHF")
# Von Hand angelegt.
txn = admin.post("/api/transactions", json={
"type": "expense", "date": "2026-08-19", "account_id": konto["id"],
"amount_cents": 1000, "payee": "Von Hand"}).json()
assert txn["herkunft"] == "manuell"
# Aus dem Eingang gebucht – die Quelle bleibt erhalten.
eintrag = _eingang(admin, konto, -2000, datum="2026-08-19", payee="Aus der Mail")
gebucht = admin.post(f"/api/inbox/{eintrag['id']}/book").json()
aus_liste = [t for t in admin.get("/api/transactions").json()
if t["id"] == gebucht["transaction_id"]][0]
assert aus_liste["herkunft"] == "mail"
def test_uebertrag_nennt_die_echte_quelle_nicht_die_gegenseite(admin):
"""Bei einem Uebertrag zeigen ZWEI Eintraege auf dieselbe Buchung. Die
Gegenseite hat Certain selbst angelegt – gemeint ist die echte Quelle."""
von = _konto(admin, name=f"Q-Von {secrets.token_hex(3)}", currency="CHF")
nach = _konto(admin, name=f"Q-Nach {secrets.token_hex(3)}", currency="CHF")
eintrag = _eingang(admin, von, -(70000 + secrets.randbelow(900)))
r = admin.post(f"/api/inbox/{eintrag['id']}/transfer", json={"to_account_id": nach["id"]})
txn_id = r.json()["transaction_id"]
aus_liste = [t for t in admin.get("/api/transactions").json() if t["id"] == txn_id][0]
assert aus_liste["herkunft"] == "mail", "nicht 'transfer' – das ist die Gegenseite"
+13
View File
@@ -1315,3 +1315,16 @@ tr.row-dup {
margin-top: 0; margin-top: 0;
padding: 4px 8px; padding: 4px 8px;
} }
/* Herkunft einer Buchung: Bank, Mail, Kurzbefehl, Datei, von Hand. Bewusst
klein und ruhig – sie beantwortet eine Rückfrage, sie ist nicht die
Hauptaussage der Zeile. */
.herkunft {
display: inline-block;
padding: 0 5px;
border: 1px solid var(--border-strong);
border-radius: var(--radius-sm);
font-size: 0.72rem;
line-height: 1.5;
color: var(--muted);
}
+4 -2
View File
@@ -550,7 +550,7 @@
"test": "Verbindung testen", "test": "Verbindung testen",
"testOk": "Verbindung steht – {{n}} Ordner gefunden.", "testOk": "Verbindung steht – {{n}} Ordner gefunden.",
"fetchNow": "Jetzt abrufen", "fetchNow": "Jetzt abrufen",
"fetched": "{{gefunden}} Mails geprüft · {{neu}} neu · {{unklar}} unklar.", "fetched": "{{gefunden}} Mails geprüft · {{neu}} neu · {{bekannt}} schon bekannt · {{unklar}} unklar.",
"lastPoll": "zuletzt abgerufen", "lastPoll": "zuletzt abgerufen",
"neverPolled": "noch nie abgerufen", "neverPolled": "noch nie abgerufen",
"lastError": "Fehler", "lastError": "Fehler",
@@ -576,7 +576,9 @@
"fetchOlder": "Älteres nachholen", "fetchOlder": "Älteres nachholen",
"every": "alle {{n}} Minuten", "every": "alle {{n}} Minuten",
"manualOnly": "nur auf Knopfdruck", "manualOnly": "nur auf Knopfdruck",
"lastPollAt": "zuletzt abgerufen: {{when}}" "lastPollAt": "zuletzt abgerufen: {{when}}",
"unclearTitle": "Diese Mails passten, waren aber nicht ganz zu lesen",
"unclearHint": "Sie liegen im Eingang und warten auf dich – dort trägst du nach, was fehlt."
}, },
"bank": { "bank": {
"title": "Bankkonten Anbindung", "title": "Bankkonten Anbindung",
+4 -2
View File
@@ -550,7 +550,7 @@
"test": "Test connection", "test": "Test connection",
"testOk": "Connection works – {{n}} folders found.", "testOk": "Connection works – {{n}} folders found.",
"fetchNow": "Fetch now", "fetchNow": "Fetch now",
"fetched": "{{gefunden}} emails checked · {{neu}} new · {{unklar}} unclear.", "fetched": "{{gefunden}} mails checked · {{neu}} new · {{bekannt}} already known · {{unklar}} unclear.",
"lastPoll": "last fetched", "lastPoll": "last fetched",
"neverPolled": "never fetched", "neverPolled": "never fetched",
"lastError": "Error", "lastError": "Error",
@@ -576,7 +576,9 @@
"fetchOlder": "Catch up on older", "fetchOlder": "Catch up on older",
"every": "every {{n}} minutes", "every": "every {{n}} minutes",
"manualOnly": "only on demand", "manualOnly": "only on demand",
"lastPollAt": "last fetched: {{when}}" "lastPollAt": "last fetched: {{when}}",
"unclearTitle": "These mails matched but could not be read fully",
"unclearHint": "They are waiting in the to-do list – add what is missing there."
}, },
"bank": { "bank": {
"title": "Bank account connection", "title": "Bank account connection",
+7 -1
View File
@@ -262,7 +262,13 @@ export default function Transactions() {
<IconChip name={l.icon} color={l.color} size={26} /> <IconChip name={l.icon} color={l.color} size={26} />
<div className="named-text"> <div className="named-text">
<div className="ellipsis">{l.title}</div> <div className="ellipsis">{l.title}</div>
{l.sub && <div className="named-sub ellipsis">{l.sub}</div>} <div className="named-sub ellipsis">
{/* Woher die Buchung stammt – man sieht es ihr sonst nicht an. */}
<span className="herkunft">{t(`todo.from.${tx.herkunft}`, {
defaultValue: tx.herkunft,
})}</span>
{l.sub ? ` · ${l.sub}` : ""}
</div>
{/* Verknüpft heisst: zählt nicht als Ausgabe oder Einnahme. {/* Verknüpft heisst: zählt nicht als Ausgabe oder Einnahme.
Ohne das Gegenkonto sagt „Übertrag" nichts. */} Ohne das Gegenkonto sagt „Übertrag" nichts. */}
{links[String(tx.id)] && ( {links[String(tx.id)] && (
+20 -1
View File
@@ -39,6 +39,8 @@ export default function Postfaecher() {
// Was beim letzten Abruf durchgefallen ist – beim Einrichten die einzige // Was beim letzten Abruf durchgefallen ist – beim Einrichten die einzige
// Möglichkeit zu sehen, was in den Absender-Filter gehört. // Möglichkeit zu sehen, was in den Absender-Filter gehört.
const [uebergangen, setUebergangen] = useState([]); const [uebergangen, setUebergangen] = useState([]);
// Mails, die eine Regel TRAFEN, aber nicht zu lesen waren.
const [unklar, setUnklar] = useState([]);
async function laden() { async function laden() {
try { try {
@@ -96,8 +98,12 @@ export default function Postfaecher() {
// „wie weit wurde überhaupt gesucht" – deshalb steht das Datum dabei. // „wie weit wurde überhaupt gesucht" – deshalb steht das Datum dabei.
toast(r.gefunden === 0 toast(r.gefunden === 0
? t("mailbox.fetchedNone", { seit: r.seit ? formatDate(r.seit) : "?" }) ? t("mailbox.fetchedNone", { seit: r.seit ? formatDate(r.seit) : "?" })
: t("mailbox.fetched", { gefunden: r.gefunden, neu: r.neu, unklar: r.unklar })); : t("mailbox.fetched", {
gefunden: r.gefunden, neu: r.neu, unklar: r.unklar,
bekannt: r.uebersprungen,
}));
setUebergangen(r.ohne_zuordnung || []); setUebergangen(r.ohne_zuordnung || []);
setUnklar(r.unklar_liste || []);
laden(); laden();
} catch (e) { } catch (e) {
toast(e.message, "error"); toast(e.message, "error");
@@ -172,6 +178,19 @@ export default function Postfaecher() {
)} )}
</div> </div>
<SenderForm konten={konten} onAdd={(d) => absenderAnlegen(q, d)} t={t} /> <SenderForm konten={konten} onAdd={(d) => absenderAnlegen(q, d)} t={t} />
{unklar.length > 0 && (
<div className="alert warn" style={{ display: "block", marginTop: "var(--sp-2)" }}>
<strong className="small">{t("mailbox.unclearTitle")}</strong>
<p className="muted small">{t("mailbox.unclearHint")}</p>
<ul className="muted small" style={{ paddingLeft: "1.2em", margin: 0 }}>
{unklar.map((m, i) => (
<li key={i} className="selectable">
{m.subject} — {(m.gruende || []).join(", ")}
</li>
))}
</ul>
</div>
)}
{uebergangen.length > 0 && ( {uebergangen.length > 0 && (
<div className="alert" style={{ display: "block", marginTop: "var(--sp-2)" }}> <div className="alert" style={{ display: "block", marginTop: "var(--sp-2)" }}>
<strong className="small">{t("mailbox.skippedTitle")}</strong> <strong className="small">{t("mailbox.skippedTitle")}</strong>