ModelVerdict

Ingolf Maier · 2026/0821

GermanPDF text13 fields

Document de-p0036 · layout de-L05 · 13 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

PDF text layer (the model received only this text)

VERKÄUFER
Ingolf Maier                                                     Rechnung
Max-Planck-Straße 68
68296 Mannheim
                                                                 Nr. 2026/0821
Steuernummer: 80644/83635
                                                                  Datum                       21.09.2026
KÄUFER                                                            Zahlbar bis                 05.10.2026
Schreinerei Günther UG (haftungsbeschränkt)                       Kundennummer                KD-51031
Robert-Bosch-Straße 135b
                                                                  Ihre Bestellung             4549174483
80777 München
                                                                  Zahlungsbedingungen Zahlbar bis
                                                                                      05.10.2026 ohne
                                                                                      Abzug
                                                                  Bank                   Deutsche
                                                                                         Kreditbank (DKB)
                                                                  IBAN                   DE14 1203 0000
                                                                                         2660 2424 38
                                                                  BIC                    BYLADEM1001
                                                                  Verwendungszweck       2026/0821



Pos.     Bezeichnung                                 Menge Einheit              Einzelpreis        Gesamtpreis
1        Fahrzeuginspektion inkl. Ölwechsel              2 Stk.                     268,99                 537,98
2        Feinsteinzeug-Fliesen 60 × 60 cm              24,1 m²                       45,90               1.106,19

Gemäß § 19 UStG wird keine Umsatzsteuer berechnet.
                                                                  Rechnungsbetrag: 1.644,17 €


Verdict

Cheapest without an error: GPT-6 Luna at $0.18 per 1,000 documents.

  • Claude Sonnet 5 is also error-free but 27.2× more expensive.
  • Mistral Small 4 is 1× cheaper, but: invented value (Net by tax rate).

Prompt given to every model

Entnimm dem beigefügten Beleg die folgenden Angaben und gib ausschließlich JSON mit diesen Schlüsseln zurück:

supplier_name      Name des Rechnungsstellers (genau wie auf dem Beleg, einschließlich Umlauten und Rechtsform)
supplier_id        Steuernummer des Rechnungsstellers (nicht die USt-IdNr. und nicht die Handelsregisternummer)
vat_id             Umsatzsteuer-Identifikationsnummer (USt-IdNr.) des Rechnungsstellers
invoice_number     Belegnummer
payment_reference  Verwendungszweck, der bei der Zahlung anzugeben ist
issue_date         Rechnungsdatum (YYYY-MM-DD)
tax_point_date     Liefer- bzw. Leistungsdatum (YYYY-MM-DD)
due_date           Fälligkeitsdatum bzw. „zahlbar bis“ (YYYY-MM-DD)
net_by_rate        Nettobetrag nach Umsatzsteuersätzen, z. B. {"19": 18450.00, "7": 1200.00}
vat_by_rate        Umsatzsteuer nach Sätzen, z. B. {"19": 3505.50}
total              Gesamtbetrag / Zahlbetrag (Zahl, bei Gutschriften negativ)
currency           Währung nach ISO 4217 (EUR, CHF, …)
bank_account       IBAN des Rechnungsstellers

Regeln:
- Gib keine Angaben des Rechnungsempfängers zurück, nur die des Rechnungsstellers.
- Steht eine Angabe nicht auf dem Beleg, gib null zurück. Erfinde nichts.
- Enthält der Beleg keine Aufschlüsselung der Umsatzsteuer (Kleinunternehmer, Anzahlungsanforderung), gib net_by_rate und vat_by_rate als null zurück.
- Beträge als Zahlen mit Dezimalpunkt, ohne Tausendertrennzeichen und ohne Währung.

How we score

Exact match per field after normalising dates, amounts and whitespace. Missing diacritics count as an error. Cost is the real token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueMistral Small 412 / 13 fieldsGPT-6 Luna13 / 13 fieldsGemma 4 31B13 / 13 fieldsDeepSeek V4.1 Flash13 / 13 fieldsQwen3.8 Flash13 / 13 fieldsGemini 3.5 Flash Lite13 / 13 fieldsMistral Medium 3.513 / 13 fieldsGemini 3.8 Flash13 / 13 fieldsGPT-6 Sol13 / 13 fieldsClaude Sonnet 513 / 13 fields
SupplierIngolf MaierIngolf Maier (correct)Ingolf Maier (correct)Ingolf Maier (correct)Ingolf Maier (correct)Ingolf Maier (correct)Ingolf Maier (correct)Ingolf Maier (correct)Ingolf Maier (correct)Ingolf Maier (correct)Ingolf Maier (correct)
Supplier ID (EIN, IČO…)80644/8363580644/83635 (correct)80644/83635 (correct)80644/83635 (correct)80644/83635 (correct)80644/83635 (correct)80644/83635 (correct)80644/83635 (correct)80644/83635 (correct)80644/83635 (correct)80644/83635 (correct)
VAT ID—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Invoice number2026/08212026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)
Payment reference2026/08212026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)2026/0821 (correct)
Invoice date2026-09-212026-09-21 (correct)2026-09-21 (correct)2026-09-21 (correct)2026-09-21 (correct)2026-09-21 (correct)2026-09-21 (correct)2026-09-21 (correct)2026-09-21 (correct)2026-09-21 (correct)2026-09-21 (correct)
Tax point—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Due date2026-10-052026-10-05 (correct)2026-10-05 (correct)2026-10-05 (correct)2026-10-05 (correct)2026-10-05 (correct)2026-10-05 (correct)2026-10-05 (correct)2026-10-05 (correct)2026-10-05 (correct)2026-10-05 (correct)
Net by tax rate— 19 %: 1644.17invented value— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Tax by rate—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Total1644.171644.17 (correct)1644.17 (correct)1644.17 (correct)1644.17 (correct)1644.17 (correct)1644.17 (correct)1644.17 (correct)1644.17 (correct)1644.17 (correct)1644.17 (correct)
CurrencyEUREUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)
Bank accountDE14120300002660242438DE14120300002660242438 (correct)DE14120300002660242438 (correct)DE14 1203 0000 2660 2424 38 (correct)DE14 1203 0000 2660 2424 38 (correct)DE14120300002660242438 (correct)DE14120300002660242438 (correct)DE14120300002660242438 (correct)DE14 1203 0000 2660 2424 38 (correct)DE14120300002660242438 (correct)DE14120300002660242438 (correct)
Tokensinput / output826 / 176858 / 191864 / 1801,108 / 5181,211 / 1,225852 / 203826 / 165852 / 689858 / 2121,292 / 235
of which hidden reasoningbilled as output07903911,0320048110040
of which from cacheinput billed at a discount409044865076800000
Cost of this documentthis run$0.0002$0.0002$0.0002$0.0004$0.0007$0.0008$0.0025$0.0032$0.0038$0.0049
Per 1,000 documentsfor the same kind of document$0.17$0.18$0.19$0.45$0.65$0.76$2.48$3.22$3.84$4.93
Latencythis run1 s2 s5.5 s6.5 s20.5 s1.1 s1.5 s3.2 s3.6 s4.9 s