MMLU-ProX

MMLU-ProX est un benchmark d’évaluation multilingue avancée pour les modèles de langage, publié en 2025 par l’équipe MMLU-ProX, avec Weihao Xuan et al. Il prolonge l’approche de MMLU-Pro avec des QCM plus difficiles, parallèles entre langues, destinés à tester des connaissances académiques et professionnelles.

Le benchmark mesure l’exactitude des réponses dans un cadre multidisciplinaire et multilingue, avec une attention particulière au raisonnement translingue. Il sert à comparer la robustesse des modèles au-delà de l’anglais et à observer leur capacité à maintenir leurs performances sur des contenus équivalents dans plusieurs langues.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 32 modèles évalués, dont 32 de grands éditeurs. Score médian de l'ensemble : 76,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMLU-ProX indique qu’un modèle répond correctement à des QCM exigeants dans de nombreux domaines et qu’il conserve une partie de ses capacités lorsqu’un même contenu est décliné dans plusieurs langues. Le meilleur résultat recensé dans la base, Qwen3.7 Max à 87 %, se situe au-dessus d’un score médian de 76 % observé sur 32 modèles, ce qui suggère un écart encore visible entre les systèmes les plus performants et le reste du classement. L’interprétation doit toutefois rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs, et non systématiquement mesurés dans un protocole indépendant. Comme pour MMLU et ses dérivés, les limites potentielles incluent la contamination par les données d’entraînement, une saturation progressive si les modèles atteignent des scores très élevés, et une portée centrée sur des QCM, qui ne couvre pas toute la complexité du raisonnement ouvert, de l’interaction ou de la production longue.

Sources des scores : llm-stats.