MMLU

MMLU, pour Massive Multitask Language Understanding, est un benchmark publié en 2020 par D. Hendrycks et al. Il évalue des modèles de langage au moyen de questions à choix multiple portant sur un large éventail de domaines, des sciences aux humanités, en passant par les sciences sociales et les domaines professionnels.

Le test sert à apprécier à la fois la compréhension linguistique, les connaissances factuelles et spécialisées, ainsi que la capacité à raisonner dans un contexte de QCM. Il reste l’un des repères généralistes utilisés pour comparer les performances de modèles sur des tâches de connaissance étendues.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 98 modèles évalués, dont 80 de grands éditeurs. Score médian de l'ensemble : 81,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMLU indique qu’un modèle répond correctement à une large proportion de questions couvrant des domaines variés, ce qui suggère une bonne maîtrise de connaissances générales et spécialisées en anglais. Dans la base considérée, le score médian atteint 82 %, tandis que le meilleur résultat recensé est celui de GPT-5 (OpenAI) à 92 %, ce qui montre un niveau de performance élevé sur ce benchmark.

L’interprétation doit toutefois rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité stricte entre modèles lorsque les protocoles ne sont pas vérifiés de manière indépendante. MMLU peut aussi souffrir de saturation lorsque de nombreux modèles atteignent des scores élevés, ainsi que de risques de contamination si des questions ont été vues pendant l’entraînement. Sa portée reste centrée sur des QCM en anglais, ce qui mesure imparfaitement d’autres compétences comme la production longue, l’interaction ou le raisonnement ouvert.

Sources des scores : llm-stats.