Écart linguistique
Écart linguistique : combien un modèle perd-il hors de l'anglais
Mêmes types de factures, mêmes instructions, langue différente. L'écart montre la précision qu'un modèle perd sur des documents dans une autre langue par rapport aux documents en anglais.
| Modèle | Champs corrects 82 % – 100 % | Anglais | Allemand | Écart | Documents sans erreur (Allemand / anglais) |
|---|---|---|---|---|---|
| Qwen3.8 Flash Qwen | 82,4 % | 93,4 % | +11,0 pts | 87 % / 57 % | |
| Qwen3.8 Flash Qwen | 82,4 % | 91,3 % | +9,0 pts | 77 % / 57 % | |
| Qwen3.8 Flash Qwen | 82,4 % | 90,5 % | +8,1 pts | 82 % / 57 % | |
| Qwen3.8 Flash Qwen | 82,4 % | 88,2 % | +5,8 pts | 78 % / 57 % | |
| Mistral Small 4 Mistral | 95,6 % | 97,5 % | +1,9 pts | 77 % / 58 % | |
| Gemini 3.5 Flash Lite | 99,2 % | 100,0 % | +0,8 pts | 100 % / 92 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,4 % | 99,9 % | +0,5 pts | 99 % / 93 % | |
| Gemini 3.5 Flash Lite | 99,2 % | 99,6 % | +0,4 pts | 96 % / 92 % | |
| Mistral Medium 3.5 Mistral | 97,8 % | 98,1 % | +0,4 pts | 81 % / 79 % | |
| Mistral Medium 3.5 Mistral | 97,8 % | 98,0 % | +0,2 pts | 83 % / 79 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,4 % | 99,6 % | +0,2 pts | 95 % / 93 % | |
| Claude Sonnet 5 Anthropic | 99,8 % | 100,0 % | +0,2 pts | 100 % / 99 % | |
| Gemini 3.5 Flash Lite | 99,2 % | 99,4 % | +0,2 pts | 93 % / 92 % | |
| Gemini 3.8 Flash | 99,8 % | 99,9 % | +0,1 pts | 99 % / 98 % | |
| Gemini 3.8 Flash | 99,8 % | 99,9 % | +0,1 pts | 99 % / 98 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,4 % | 99,4 % | −0,0 pts | 93 % / 93 % | |
| GPT-6 Sol OpenAI | 99,9 % | 99,9 % | −0,0 pts | 99 % / 99 % | |
| GPT-6 Sol OpenAI | 99,9 % | 99,9 % | −0,0 pts | 99 % / 99 % | |
| GPT-6 Sol OpenAI | 99,9 % | 99,9 % | −0,1 pts | 99 % / 99 % | |
| Mistral Medium 3.5 Mistral | 97,8 % | 97,6 % | −0,1 pts | 75 % / 79 % | |
| Mistral Small 4 Mistral | 95,6 % | 95,4 % | −0,2 pts | 56 % / 58 % | |
| Mistral Small 4 Mistral | 95,6 % | 95,2 % | −0,4 pts | 65 % / 58 % | |
| GPT-6 Luna OpenAI | 99,7 % | 99,3 % | −0,4 pts | 94 % / 97 % | |
| GPT-6 Luna OpenAI | 99,7 % | 99,2 % | −0,5 pts | 91 % / 97 % | |
| Gemini 3.5 Flash Lite | 99,2 % | 98,6 % | −0,6 pts | 85 % / 92 % | |
| GPT-6 Luna OpenAI | 99,7 % | 98,9 % | −0,8 pts | 88 % / 97 % | |
| GPT-6 Luna OpenAI | 99,7 % | 98,9 % | −0,8 pts | 88 % / 97 % | |
| GPT-6 Sol OpenAI | 99,9 % | 99,0 % | −0,9 pts | 89 % / 99 % | |
| Claude Sonnet 5 Anthropic | 99,8 % | 98,8 % | −1,0 pts | 87 % / 99 % | |
| Mistral Small 4 Mistral | 95,6 % | 94,5 % | −1,1 pts | 53 % / 58 % | |
| Claude Sonnet 5 Anthropic | 99,8 % | 98,6 % | −1,2 pts | 96 % / 99 % | |
| DeepSeek V4.1 Flash DeepSeek | 99,4 % | 98,0 % | −1,3 pts | 78 % / 93 % | |
| Gemma 4 31B | 97,6 % | 96,1 % | −1,5 pts | 67 % / 81 % | |
| Gemma 4 31B | 97,6 % | 95,2 % | −2,4 pts | 67 % / 81 % | |
| Gemini 3.8 Flash | 99,8 % | 97,3 % | −2,5 pts | 97 % / 98 % | |
| Mistral Medium 3.5 Mistral | 97,8 % | 94,9 % | −2,9 pts | 67 % / 79 % | |
| Gemma 4 31B | 97,6 % | 94,7 % | −3,0 pts | 54 % / 81 % | |
| Gemini 3.8 Flash | 99,8 % | 95,9 % | −3,9 pts | 95 % / 98 % | |
| Gemma 4 31B | 97,6 % | 93,3 % | −4,3 pts | 52 % / 81 % | |
| Claude Sonnet 5 Anthropic | 99,8 % | 93,4 % | −6,5 pts | 77 % / 99 % |
Seuls les champs présents dans les deux versions du document sont comparés (Fournisseur, Identifiant du fournisseur (EIN, IČO…), Numéro de facture, Référence de paiement, Date de facture, Date d'échéance, HT par taux, Taxe par taux, Total, Devise, Compte bancaire). Les factures américaines n'ont ni numéro de TVA ni date du fait générateur : ces champs sont donc exclus.