WMT24++

WMT24++ est un benchmark de traduction automatique multilingue créé par Google et Unbabel. Il étend WMT24 afin d’évaluer des systèmes de traduction et des grands modèles de langage dans des contextes linguistiques variés, avec des références humaines et des post-éditions.

Le benchmark mesure la capacité à produire des traductions de qualité entre langues source et cible, sur plusieurs domaines d’usage. Son intérêt est de fournir un cadre commun pour comparer les modèles au-delà de quelques langues dominantes, en tenant compte de registres comme le littéraire, l’actualité, le social et la parole.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 23 modèles évalués, dont 22 de grands éditeurs. Score médian de l'ensemble : 72,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur WMT24++ indique une forte capacité à générer des traductions jugées proches de références humaines ou de post-éditions selon des métriques automatiques comme MetricX, COMET ou chrF. Le classement met en avant des modèles capables de maintenir une qualité élevée dans un cadre multilingue étendu, le meilleur résultat recensé dans la base étant celui de Nemotron 3 Super (120B A12B) (NVIDIA), à 87%, au-dessus d’une médiane d’ensemble de 73%.

La lecture des résultats doit rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité stricte entre modèles sans protocole de vérification homogène. Les métriques automatiques apportent une mesure reproductible, mais ne remplacent pas entièrement une évaluation humaine fine, notamment pour les nuances stylistiques, culturelles ou contextuelles. Le benchmark couvre 55 langues et dialectes et quatre domaines, ce qui renforce sa portée, mais ne garantit pas une couverture exhaustive de tous les usages de traduction. Comme tout jeu public, il peut aussi être exposé à des risques de contamination ou de saturation progressive.

Sources des scores : llm-stats.