ModelVerdict

Fuchs GmbH · Vogt & Maier GmbH & Co. KG

GermanContract text13 fields

Document de-p0021 · layout short · 13 fields · public part of the dataset · Same invoice in English (US) → · Report an error in this example

Contract text (the model got exactly this text)

DIENSTLEISTUNGSVERTRAG

zwischen

Fuchs GmbH
Poststraße 36, 60757 Frankfurt am Main
Handelsregister: 091 657 11160
USt-IdNr.: DE149236398
vertreten durch den Geschäftsführer Georg Weinhage
– nachfolgend „Auftragnehmer“ genannt –

und

Vogt & Maier GmbH & Co. KG
Hauptstraße 93, 97005 Würzburg, Deutschland
Handelsregister: 184/223/46292
USt-IdNr.: DE367747992
vertreten durch die Komplementär-GmbH, diese vertreten durch den Geschäftsführer Fredi Kuhl
– nachfolgend „Auftraggeber“ genannt –

1. Vertragsgegenstand: Der Auftragnehmer erbringt für den Auftraggeber Leistungen der Betreuung der IT-Infrastruktur sowie des Anwender-Supports im Umfang der Leistungsbeschreibung in Anlage 1.
2. Vergütung: Die Vergütung beträgt monatlich 5.230,00 € netto zzgl. 19 % USt.. Rechnungen sind innerhalb von 14 Tagen nach Rechnungsdatum ohne Abzug zahlbar. Gerät der Auftraggeber mit einer Zahlung in Verzug, schuldet er eine Vertragsstrafe von 0,02 % des offenen Betrags je Tag des Verzugs.
3. Laufzeit: Dieser Vertrag tritt am 9. Juli 2025 in Kraft. Der Vertrag wird für eine feste Laufzeit bis zum 31. Juli 2026 geschlossen. Eine ordentliche Kündigung vor Ablauf der Laufzeit ist ausgeschlossen. Das Recht zur außerordentlichen Kündigung aus wichtigem Grund bleibt unberührt.
4. Vertraulichkeit: Die Vertragsparteien verpflichten sich, alle vertraulichen Informationen der jeweils anderen Partei streng geheim zu halten.
5. Sonstiges: Dieser Vertrag unterliegt österreichischem Recht unter Ausschluss der Verweisungsnormen des internationalen Privatrechts. Änderungen und Ergänzungen dieses Vertrages bedürfen der Schriftform. Sollte eine Bestimmung dieses Vertrages unwirksam sein, bleibt die Wirksamkeit der übrigen Bestimmungen unberührt.


Ort, Datum: Forchheim, 05.07.2025

Auftragnehmer: ____________________
Auftraggeber: ____________________

Verdict

Cheapest without an error: Mistral Small 4 at $0.19 per 1,000 documents.

  • Claude Sonnet 5 is also error-free but 36× more expensive.

Prompt given to every model

Extrahieren Sie die wesentlichen Bedingungen des nachstehenden Vertrages und geben Sie nur JSON mit diesen Schlüsseln zurück:

provider_name         die leistende Partei (Auftragnehmer, Verkäufer, Vermieter, Lizenzgeber),
                      genau wie angegeben, einschließlich der Rechtsform
provider_id           Registernummer dieser Partei (z. B. Handelsregisternummer), sofern angegeben
client_name           die zahlende Partei (Auftraggeber, Käufer, Mieter, Lizenznehmer)
client_id             Registernummer dieser Partei, sofern angegeben
contract_type         einer der Werte: services, supply, lease, license, maintenance
price                 vereinbarter Preis ohne Umsatzsteuer (Zahl)
currency              Währungscode nach ISO 4217 (EUR, CHF, USD, …)
price_period          einer der Werte: one_time, monthly, yearly
effective_date        Datum des Inkrafttretens des Vertrages (YYYY-MM-DD)
end_date              Ende einer festen Laufzeit (YYYY-MM-DD); null, wenn der Vertrag auf
                      unbestimmte Zeit geschlossen ist
notice_period_months  Kündigungsfrist in Monaten (Zahl); null, wenn es keine gibt
penalty_pct_per_day   Vertragsstrafe für Zahlungsverzug in Prozent des offenen Betrags pro Tag
                      (z. B. 0.05 für 0,05 %); null, wenn es keine gibt
governing_law         Ländercode des anwendbaren Rechts nach ISO 3166 (z. B. DE); US-Bundesstaaten
                      als US-XX

Regeln:
- Relative Daten („mit Unterzeichnung“, „zum Ersten des folgenden Monats“) bezogen auf das
  Datum der Unterzeichnung umrechnen.
- Das Datum der Unterzeichnung ist nicht das Datum des Inkrafttretens, sofern der Vertrag dies
  nicht ausdrücklich bestimmt.
- Anzahlung, Kaution und feste Vertragsstrafen für andere Verstöße sind weder der Preis noch die
  Vertragsstrafe für Zahlungsverzug.
- Steht ein Wert nicht im Vertrag, null zurückgeben. Nicht raten.
- Beträge als Zahlen mit Dezimalpunkt, ohne Tausendertrennzeichen und ohne Währungssymbol.

How we score

Exact match per field after normalising dates, amounts and whitespace. Missing diacritics count as an error. Cost is the real token spend of this run, converted at the rate shown in the footer.

What each model extracted

FieldCorrect valueMistral Small 413 / 13 fieldsGemma 4 31B12 / 13 fieldsGPT-6 Luna13 / 13 fieldsDeepSeek V4.1 Flash13 / 13 fieldsQwen3.8 Flash13 / 13 fieldsGemini 3.5 Flash Lite13 / 13 fieldsGemini 3.8 Flash13 / 13 fieldsMistral Medium 3.513 / 13 fieldsGPT-6 Sol13 / 13 fieldsClaude Sonnet 513 / 13 fields
ProviderFuchs GmbHFuchs GmbH (correct)Fuchs GmbH (correct)Fuchs GmbH (correct)Fuchs GmbH (correct)Fuchs GmbH (correct)Fuchs GmbH (correct)Fuchs GmbH (correct)Fuchs GmbH (correct)Fuchs GmbH (correct)Fuchs GmbH (correct)
Provider ID091 657 11160091 657 11160 (correct)091 657 11160 (correct)091 657 11160 (correct)091 657 11160 (correct)091 657 11160 (correct)091 657 11160 (correct)091 657 11160 (correct)091 657 11160 (correct)091 657 11160 (correct)091 657 11160 (correct)
ClientVogt & Maier GmbH & Co. KGVogt & Maier GmbH & Co. KG (correct)Vogt & Maier GmbH & Co. KG (correct)Vogt & Maier GmbH & Co. KG (correct)Vogt & Maier GmbH & Co. KG (correct)Vogt & Maier GmbH & Co. KG (correct)Vogt & Maier GmbH & Co. KG (correct)Vogt & Maier GmbH & Co. KG (correct)Vogt & Maier GmbH & Co. KG (correct)Vogt & Maier GmbH & Co. KG (correct)Vogt & Maier GmbH & Co. KG (correct)
Client ID184/223/46292184/223/46292 (correct)184/223/46292 (correct)184/223/46292 (correct)184/223/46292 (correct)184/223/46292 (correct)184/223/46292 (correct)184/223/46292 (correct)184/223/46292 (correct)184/223/46292 (correct)184/223/46292 (correct)
Contract typeservicesservices (correct)services (correct)services (correct)services (correct)services (correct)services (correct)services (correct)services (correct)services (correct)services (correct)
Price (net)5230.005230.00 (correct)5230.00 (correct)5230.00 (correct)5230.00 (correct)5230.00 (correct)5230.00 (correct)5230.00 (correct)5230 (correct)5230.00 (correct)5230.00 (correct)
CurrencyEUREUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)EUR (correct)
Billing periodmonthlymonthly (correct)monthly (correct)monthly (correct)monthly (correct)monthly (correct)monthly (correct)monthly (correct)monthly (correct)monthly (correct)monthly (correct)
Effective date2025-07-092025-07-09 (correct)2025-07-09 (correct)2025-07-09 (correct)2025-07-09 (correct)2025-07-09 (correct)2025-07-09 (correct)2025-07-09 (correct)2025-07-09 (correct)2025-07-09 (correct)2025-07-09 (correct)
End date2026-07-312026-07-31 (correct)2026-07-31 (correct)2026-07-31 (correct)2026-07-31 (correct)2026-07-31 (correct)2026-07-31 (correct)2026-07-31 (correct)2026-07-31 (correct)2026-07-31 (correct)2026-07-31 (correct)
Notice period (months)—— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)— (correct)
Late-payment penalty (% per day)0.020.02 (correct) 0.00number format0.02 (correct)0.02 (correct)0.02 (correct)0.02 (correct)0.02 (correct)0.02 (correct)0.02 (correct)0.02 (correct)
Governing lawATAT (correct)AT (correct)AT (correct)AT (correct)AT (correct)AT (correct)AT (correct)AT (correct)AT (correct)AT (correct)
Tokensinput / output1,042 / 1661,078 / 1701,129 / 2221,463 / 3821,439 / 9541,066 / 1961,066 / 3781,042 / 1641,129 / 1181,873 / 311
of which hidden reasoningbilled as output00102244765023600104
of which from cacheinput billed at a discount483530078876800000
Cost of this documentthis run$0.0002$0.0002$0.0003$0.0004$0.0006$0.0008$0.0022$0.0028$0.0040$0.0069
Per 1,000 documentsfor the same kind of document$0.19$0.22$0.25$0.41$0.56$0.81$2.22$2.79$4.00$6.86
Latencythis run1.1 s2.4 s2.7 s3.7 s18.7 s1 s2 s1.2 s2.2 s9.6 s