MMMU-Pro

MMMU-Pro est un benchmark public conçu par l’équipe MMMU, avec Xiang Yue, Tianyu Zheng et leurs co-auteurs, pour évaluer la compréhension et le raisonnement multimodaux multidisciplinaires. Il prolonge MMMU en rendant les questions moins accessibles par le seul texte et plus dépendantes de l’interprétation conjointe du texte et de l’image.

Le benchmark teste notamment des QCM aux options augmentées et un réglage vision-only, où la question est intégrée directement dans l’image. Son rôle est de mieux approcher des situations réelles d’usage, dans lesquelles un modèle doit extraire, relier et raisonner sur des informations visuelles et textuelles.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 60 modèles évalués, dont 53 de grands éditeurs. Score médian de l'ensemble : 71,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMMU-Pro indique une capacité solide à traiter des problèmes multimodaux variés, y compris lorsque l’information textuelle explicite est réduite ou déplacée dans l’image. Le benchmark est conçu pour être plus rigoureux que MMMU, avec un filtrage des questions répondables par le texte seul, des options de réponse augmentées et un mode vision-only. Cette conception vise à limiter les réussites fondées sur des indices superficiels et à mieux mesurer le raisonnement multimodal. Les scores de la base doivent toutefois être interprétés avec prudence, car ils sont majoritairement auto-déclarés par les éditeurs, ce qui peut introduire des différences de protocole ou de reproductibilité. Les limites habituelles demeurent aussi possibles : contamination des données d’entraînement, saturation progressive si les meilleurs modèles convergent, et portée restreinte à l’anglais et au format QCM. Le classement montre un niveau médian élevé, avec Gemini 3.5 Flash en tête, ce qui suggère une forte compétitivité des modèles multimodaux récents sur ce type d’évaluation.

Sources des scores : llm-stats.