MMStar

MMStar est un benchmark multimodal public conçu par Lin Chen et al. pour évaluer des modèles capables de traiter conjointement une image et une question. Il se concentre sur des tâches où l’information visuelle est indispensable, afin de limiter les réponses obtenues par simple raisonnement textuel ou par indices superficiels.

Le benchmark repose sur des QCM en anglais associés à des images, sélectionnés manuellement pour couvrir des capacités de perception visuelle, de raisonnement multimodal, de compréhension fine et de résolution de tâches visuelles variées. Il sert ainsi de test ciblé pour distinguer les modèles réellement robustes en vision-langage.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 22 modèles évalués, dont 22 de grands éditeurs. Score médian de l'ensemble : 74,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MMStar indique qu’un modèle parvient à exploiter efficacement le contenu de l’image pour répondre à des questions multimodales difficiles. L’accuracy mesure directement la proportion de bonnes réponses, ce qui rend les résultats lisibles, mais ne renseigne pas sur les causes d’erreur ni sur la robustesse hors des exemples proposés. La construction du benchmark vise explicitement à réduire deux biais connus des évaluations multimodales, l’inutilité du contenu visuel et les fuites de données non intentionnelles. La fiabilité du classement doit toutefois être interprétée avec prudence, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. Le score médian de 74 % et le meilleur résultat, 83 % pour Qwen3.6 Plus, suggèrent un benchmark discriminant mais déjà abordable pour les meilleurs systèmes évalués. Les limites tiennent aussi à la portée du jeu, centré sur l’anglais et sur 1 500 questions, ainsi qu’au risque de saturation si les modèles progressent vers des performances proches du plafond.

Sources des scores : llm-stats.