ModelVerdict

Schulz GmbH · Dachdeckerei Fuchs GmbH

GermanContract text13 fields

Document de-p0012 · layout definitions · 13 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Contract text (the model got exactly this text)

KAUFVERTRAG

§ 1 Vertragsparteien

Dachdeckerei Fuchs GmbH
Gutenbergstraße 144, 34938 Kassel
Handelsregister: 026 599 93349
USt-IdNr.: DE519998821
– nachfolgend „Käufer“ genannt –

und

Schulz GmbH
Kirchstraße 15, 10852 Berlin
Handelsregister: 20/268/96211
USt-IdNr.: DE125344187
vertreten durch den Geschäftsführer Simon Junck
– nachfolgend „Verkäufer“ genannt –

§ 2 Begriffsbestimmungen

(1) „Vertrag“ bezeichnet diesen Vertrag einschließlich aller Anlagen.
(2) „Vertrauliche Informationen“ sind alle nicht öffentlich bekannten geschäftlichen und technischen Informationen.
(3) „Werktag“ ist jeder Tag von Montag bis Freitag mit Ausnahme gesetzlicher Feiertage.

§ 3 Vertragsgegenstand

Der Verkäufer verpflichtet sich, dem Käufer die in Anlage 1 näher bezeichneten Büromöbel zu liefern und ihm das Eigentum daran zu verschaffen; der Käufer verpflichtet sich, die Ware abzunehmen.

§ 4 Vergütung und Zahlung

(1) Der Kaufpreis beträgt 40.160,00 € netto zzgl. 19 % USt. (brutto 47.790,40 €).
(2) Rechnungen sind innerhalb von 14 Tagen nach Rechnungsdatum ohne Abzug zahlbar.
(3) Der Käufer leistet innerhalb von zehn Tagen nach Unterzeichnung eine Anzahlung in Höhe von 12.048,00 €.

§ 5 Inkrafttreten

Dieser Vertrag tritt mit Unterzeichnung durch beide Vertragsparteien in Kraft.

§ 6 Vertraulichkeit

(1) Die Vertragsparteien verpflichten sich, alle vertraulichen Informationen der jeweils anderen Partei streng geheim zu halten.
(2) Für jeden Fall der schuldhaften Zuwiderhandlung zahlt die verletzende Partei eine Vertragsstrafe in Höhe von 500,00 €.

§ 7 Schlussbestimmungen

(1) Es gilt das Recht der Bundesrepublik Deutschland.
(2) Die Anwendung des UN-Kaufrechts (CISG) ist ausgeschlossen.
(3) Ausschließlicher Gerichtsstand ist Lippstadt.
(4) Änderungen und Ergänzungen dieses Vertrages bedürfen der Schriftform.
(5) Sollte eine Bestimmung dieses Vertrages unwirksam sein, bleibt die Wirksamkeit der übrigen Bestimmungen unberührt.


Ort, Datum: Lippstadt, 26.02.2025

Verkäufer: ____________________
Käufer: ____________________

Verdict

Cheapest without an error: Gemma 4 31B at $0.22 per 1,000 documents.

  • Claude Sonnet 5 is also error-free but 33.4× more expensive.

Prompt given to every model

Extrahieren Sie die wesentlichen Bedingungen des nachstehenden Vertrages und geben Sie nur JSON mit diesen Schlüsseln zurück:

provider_name         die leistende Partei (Auftragnehmer, Verkäufer, Vermieter, Lizenzgeber),
                      genau wie angegeben, einschließlich der Rechtsform
provider_id           Registernummer dieser Partei (z. B. Handelsregisternummer), sofern angegeben
client_name           die zahlende Partei (Auftraggeber, Käufer, Mieter, Lizenznehmer)
client_id             Registernummer dieser Partei, sofern angegeben
contract_type         einer der Werte: services, supply, lease, license, maintenance
price                 vereinbarter Preis ohne Umsatzsteuer (Zahl)
currency              Währungscode nach ISO 4217 (EUR, CHF, USD, …)
price_period          einer der Werte: one_time, monthly, yearly
effective_date        Datum des Inkrafttretens des Vertrages (YYYY-MM-DD)
end_date              Ende einer festen Laufzeit (YYYY-MM-DD); null, wenn der Vertrag auf
                      unbestimmte Zeit geschlossen ist
notice_period_months  Kündigungsfrist in Monaten (Zahl); null, wenn es keine gibt
penalty_pct_per_day   Vertragsstrafe für Zahlungsverzug in Prozent des offenen Betrags pro Tag
                      (z. B. 0.05 für 0,05 %); null, wenn es keine gibt
governing_law         Ländercode des anwendbaren Rechts nach ISO 3166 (z. B. DE); US-Bundesstaaten
                      als US-XX

Regeln:
- Relative Daten („mit Unterzeichnung“, „zum Ersten des folgenden Monats“) bezogen auf das
  Datum der Unterzeichnung umrechnen.
- Das Datum der Unterzeichnung ist nicht das Datum des Inkrafttretens, sofern der Vertrag dies
  nicht ausdrücklich bestimmt.
- Anzahlung, Kaution und feste Vertragsstrafen für andere Verstöße sind weder der Preis noch die
  Vertragsstrafe für Zahlungsverzug.
- Steht ein Wert nicht im Vertrag, null zurückgeben. Nicht raten.
- Beträge als Zahlen mit Dezimalpunkt, ohne Tausendertrennzeichen und ohne Währungssymbol.

How we score

Exact match per field after normalising dates, amounts and whitespace. Missing diacritics count as an error. Cost is the real token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueGemma 4 31B13 / 13 fieldsMistral Small 413 / 13 fieldsGPT-6 Luna13 / 13 fieldsDeepSeek V4.1 Flash13 / 13 fieldsGemini 3.5 Flash Lite13 / 13 fieldsQwen3.8 Flash13 / 13 fieldsGemini 3.8 Flash13 / 13 fieldsMistral Medium 3.513 / 13 fieldsGPT-6 Sol13 / 13 fieldsClaude Sonnet 513 / 13 fields
ProviderSchulz GmbHSchulz GmbH (correct)Schulz GmbH (correct)Schulz GmbH (correct)Schulz GmbH (correct)Schulz GmbH (correct)Schulz GmbH (correct)Schulz GmbH (correct)Schulz GmbH (correct)Schulz GmbH (correct)Schulz GmbH (correct)
Provider ID20/268/9621120/268/96211 (correct)20/268/96211 (correct)20/268/96211 (correct)20/268/96211 (correct)20/268/96211 (correct)20/268/96211 (correct)20/268/96211 (correct)20/268/96211 (correct)20/268/96211 (correct)20/268/96211 (correct)
ClientDachdeckerei Fuchs GmbHDachdeckerei Fuchs GmbH (correct)Dachdeckerei Fuchs GmbH (correct)Dachdeckerei Fuchs GmbH (correct)Dachdeckerei Fuchs GmbH (correct)Dachdeckerei Fuchs GmbH (correct)Dachdeckerei Fuchs GmbH (correct)Dachdeckerei Fuchs GmbH (correct)Dachdeckerei Fuchs GmbH (correct)Dachdeckerei Fuchs GmbH (correct)Dachdeckerei Fuchs GmbH (correct)
Client ID026 599 93349026 599 93349 (correct)026 599 93349 (correct)026 599 93349 (correct)026 599 93349 (correct)026 599 93349 (correct)026 599 93349 (correct)026 599 93349 (correct)026 599 93349 (correct)026 599 93349 (correct)026 599 93349 (correct)
Contract typesupplysupply (correct)supply (correct)supply (correct)supply (correct)supply (correct)supply (correct)supply (correct)supply (correct)supply (correct)supply (correct)
Price (net)40160.0040160.00 (correct)40160.00 (correct)40160.00 (correct)40160.00 (correct)40160.00 (correct)40160.00 (correct)40160.00 (correct)40160.00 (correct)40160.00 (correct)40160.00 (correct)
CurrencyEUREUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)
Billing periodone_timeone_time (correct)one_time (correct)one_time (correct)one_time (correct)one_time (correct)one_time (correct)one_time (correct)one_time (correct)one_time (correct)one_time (correct)
Effective date2025-02-262025-02-26 (correct)2025-02-26 (correct)2025-02-26 (correct)2025-02-26 (correct)2025-02-26 (correct)2025-02-26 (correct)2025-02-26 (correct)2025-02-26 (correct)2025-02-26 (correct)2025-02-26 (correct)
End date—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Notice period (months)—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Late-payment penalty (% per day)—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Governing lawDEDE (correct)DE (correct)DE (correct)DE (correct)DE (correct)DE (correct)DE (correct)DE (correct)DE (correct)DE (correct)
Tokensinput / output1,162 / 1531,121 / 1491,208 / 2851,550 / 6721,150 / 1811,521 / 2,1241,150 / 5131,121 / 1491,208 / 1602,024 / 342
of which hidden reasoningbilled as output0013656701,951333048145
of which from cacheinput billed at a discount5170079007680000
Cost of this documentthis run$0.0002$0.0003$0.0003$0.0006$0.0008$0.0011$0.0028$0.0028$0.0046$0.0075
Per 1,000 documentsfor the same kind of document$0.22$0.26$0.29$0.62$0.80$1.12$2.79$2.80$4.62$7.47
Latencythis run2.2 s1.4 s3.1 s6.8 s1 s39.6 s2.6 s1.4 s2.8 s4 s