MMMU

MMMU, pour Massive Multi-discipline Multimodal Understanding, est un benchmark publié en 2023 par Xiang Yue et al. Il évalue des modèles multimodaux sur des questions de niveau universitaire combinant texte et images, issues d’examens, de quiz et de manuels.

Son objectif est de mesurer à la fois la compréhension multimodale, la mobilisation de connaissances multidisciplinaires et le raisonnement délibéré. Avec ses questions couvrant de grands domaines académiques, MMMU sert de test exigeant pour comparer les modèles capables d’interpréter conjointement des contenus visuels et textuels.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 61 modèles évalués, dont 58 de grands éditeurs. Score médian de l'ensemble : 70,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMMU indique qu’un modèle parvient à associer des indices visuels et textuels, à mobiliser des connaissances universitaires et à raisonner sur des questions parfois ouvertes, au-delà d’une simple reconnaissance d’image. La métrique repose sur l’accuracy, ce qui facilite la comparaison, mais la fiabilité doit être interprétée avec prudence car les scores de la base sont majoritairement auto-déclarés par les éditeurs. Le niveau médian de 70% sur les modèles évalués montre que le benchmark reste discriminant, tandis que le meilleur score recensé, Qwen3.6 Plus à 86%, suggère une avance nette sans indiquer une maîtrise totale. Les principales limites tiennent à la portée anglophone du jeu, à son ancrage dans des contenus universitaires, et au risque général de contamination lié à des questions dérivées d’examens, de quiz et de manuels. Le classement révèle surtout quels modèles combinent le mieux vision, texte et connaissances académiques dans ce cadre précis.

Sources des scores : llm-stats.