Video-MME

Video-MME est un benchmark public proposé par Chaoyou Fu et al. en 2024 pour évaluer la compréhension vidéo multimodale des MLLM. Il s’intéresse à la capacité des modèles à répondre à des QCM à partir de vidéos de durées variées, en mobilisant le raisonnement visuel et temporel.

Le benchmark occupe une place de référence pour comparer les modèles d’analyse vidéo, car il combine plusieurs types d’entrées possibles, notamment images, sous-titres et audio, avec des contenus couvrant différents domaines visuels et linguistiques.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 17)

Classement établi sur 17 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 78,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Video-MME indique une bonne aptitude à relier des informations visuelles, temporelles et parfois audio ou textuelles pour résoudre des questions à choix multiples. La métrique d’accuracy rend la comparaison lisible, mais elle ne résume pas toute la robustesse d’un modèle, notamment face à des vidéos longues, à des contenus multilingues ou à des situations nécessitant une interprétation fine du contexte. L’évaluation repose sur des paires question-réponse annotées manuellement par des experts, ce qui renforce la qualité du signal de test. Dans la base considérée, les scores restent toutefois majoritairement auto-déclarés par les éditeurs, un point qui impose de lire le classement comme un indicateur comparatif plutôt que comme une mesure entièrement vérifiée de façon indépendante. Avec 17 modèles évalués, un score médian de 79 % et Seed 2.1 Pro en tête à 89 %, le leaderboard suggère déjà un niveau élevé sur cette tâche. Les limites habituelles demeurent : risque de saturation progressive, contamination possible des données d’évaluation et portée centrée sur le format QCM.

Sources des scores : llm-stats.