MMLU-Pro

MMLU-Pro est un benchmark de compréhension multitâche conçu par TIGER AI Lab pour évaluer des modèles de langage sur des questions à choix multiples plus exigeantes que celles de MMLU. Il met l’accent sur le raisonnement dans des domaines variés, avec des items filtrés pour réduire les questions triviales.

Son rôle est de fournir un test plus robuste lorsque les performances sur MMLU deviennent moins discriminantes. En élargissant le nombre de réponses possibles et en privilégiant des tâches intensives en raisonnement, MMLU-Pro cherche à mieux distinguer les capacités réelles des modèles généralistes.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 125 modèles évalués, dont 100 de grands éditeurs. Score médian de l'ensemble : 77,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMLU-Pro indique une forte capacité à traiter des questions de connaissance et de raisonnement dans un cadre multitâche, avec une difficulté renforcée par les QCM à 10 choix. Le meilleur résultat recensé dans la base, Qwen3.7 Max à 90 %, se situe nettement au-dessus de la médiane de 77 %, ce qui suggère que le benchmark conserve un pouvoir de différenciation entre modèles évalués.

• Rigueur : les scores sont majoritairement auto-déclarés par les éditeurs, ce qui impose de les lire comme des résultats indicatifs plutôt que comme des mesures entièrement homogènes et indépendamment vérifiées.
• Limites : le caractère public du jeu peut accroître le risque de contamination des données d’entraînement. La portée reste celle d’un benchmark en anglais, centré sur des QCM, donc imparfait pour évaluer des usages interactifs, multilingues ou ouverts.
• Classement : l’écart entre la médiane et le meilleur score met en évidence une hiérarchie marquée, mais ne suffit pas à résumer la qualité globale d’un modèle hors de ce cadre d’évaluation.

Sources des scores : llm-stats.