MMMLU

MMMLU est un benchmark multilingue publié par OpenAI pour évaluer des modèles de langage sur des questions à choix multiple issues de MMLU et traduites professionnellement. Il transpose l’évaluation de la compréhension et des connaissances au-delà de l’anglais, en couvrant un large éventail de domaines académiques et professionnels.

Le benchmark mesure la capacité d’un modèle à mobiliser des connaissances générales et spécialisées, à comprendre des énoncés dans plusieurs langues et à raisonner sur des tâches variées. Il sert ainsi de repère comparatif pour apprécier la robustesse multilingue des modèles.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 49 modèles évalués, dont 48 de grands éditeurs. Score médian de l'ensemble : 86,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMMLU indique une forte aptitude à répondre correctement à des QCM couvrant de nombreux sujets dans plusieurs langues, ce qui combine compréhension linguistique, connaissances factuelles et raisonnement multitâche. Dans la base, le niveau médian élevé et le meilleur score à 93% suggèrent que les modèles les plus avancés maîtrisent largement ce format, mais aussi que le benchmark peut commencer à perdre en pouvoir discriminant au sommet du classement. La fiabilité doit être interprétée avec prudence, car les résultats sont majoritairement auto-déclarés par les éditeurs, sans garantie uniforme de protocole indépendant. Le caractère public du jeu accroît également le risque de contamination des données d’entraînement. Enfin, MMMLU reste centré sur des QCM traduits depuis MMLU, il ne mesure pas directement la génération longue, l’usage d’outils, l’interaction ou la résolution de tâches pratiques. Le classement met surtout en évidence la maturité des modèles généralistes multilingues, avec Claude Mythos Preview en tête parmi les modèles suivis.

Sources des scores : llm-stats.