VideoMMMU

VideoMMMU est un benchmark d’évaluation multimodale consacré à l’apprentissage à partir de vidéos professionnelles de niveau expert. Créé par EvolvingLMMs-Lab, il examine la capacité des grands modèles multimodaux à extraire et utiliser des connaissances issues de contenus vidéo spécialisés.

Le test organise les questions-réponses autour de trois stades cognitifs, perception, compréhension et adaptation. Il sert ainsi à mesurer non seulement l’identification d’informations visibles ou audibles, mais aussi leur interprétation et leur réemploi dans des situations proches d’un raisonnement appliqué.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 26 modèles évalués, dont 24 de grands éditeurs. Score médian de l'ensemble : 82,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur VideoMMMU indique qu’un modèle parvient à acquérir des connaissances depuis des vidéos expertes, puis à répondre correctement à des questions alignées sur différents niveaux cognitifs. L’accuracy mesure la justesse des réponses, tandis que Delta-knowledge cherche à quantifier le gain de connaissance apporté par l’exposition aux vidéos. La lecture du classement doit toutefois rester prudente, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec une évaluation entièrement indépendante. Le niveau médian élevé, 83 %, suggère aussi un risque de saturation progressive pour les meilleurs systèmes, même si l’écart avec Gemini 3 Pro, annoncé à 88 %, laisse encore une marge de différenciation. Les limites tiennent également à la portée du corpus, centré sur l’anglais et sur des vidéos professionnelles couvrant six disciplines, ainsi qu’au risque général de contamination des données. Le classement met surtout en évidence la maturité croissante des modèles multimodaux sur des tâches vidéo structurées et expertes.

Sources des scores : llm-stats.