MMLU-Redux

MMLU-Redux est une version améliorée de MMLU, conçue pour évaluer les connaissances générales multitâches des modèles de langage à travers un large éventail de matières académiques et professionnelles. Le benchmark a été publié en 2024 par University of Edinburgh et al., avec Aryo Pradipta Gema et al.

Son objectif est de rendre l’évaluation plus fiable en corrigeant des problèmes de qualité identifiés dans le jeu de données original. Les questions ont été ré-annotées manuellement, afin de mieux mesurer la capacité des modèles à répondre correctement à des QCM en anglais.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 48 modèles évalués, dont 42 de grands éditeurs. Score médian de l'ensemble : 90,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMLU-Redux indique une forte maîtrise de connaissances générales dans des contextes variés, avec une évaluation centrée sur l’exactitude des réponses. Dans la base considérée, le score médian atteint 90 %, et le meilleur résultat indiqué est celui de Qwen3.7 Max (Qwen), à 95 %. Cet écart relativement réduit entre la médiane et le meilleur score suggère un benchmark où les modèles les plus avancés peuvent se rapprocher d’un plafond de performance, ce qui limite sa capacité à départager finement les systèmes les plus performants.

La rigueur du benchmark tient à la ré-annotation manuelle de 5 700 questions, destinée à corriger les erreurs du MMLU original. Toutefois, les scores recensés sont majoritairement auto-déclarés par les éditeurs, ce qui impose de les interpréter avec prudence. Comme le jeu est public et en anglais, la contamination des données d’entraînement reste un risque à surveiller. Le classement reflète surtout la performance sur des QCM de connaissances, sans couvrir à lui seul le raisonnement approfondi, l’usage d’outils ou les compétences pratiques.

Sources des scores : llm-stats.