MM-MT-Bench

MM-MT-Bench est un benchmark d’évaluation multimodale publié par Mistral AI en 2024. Il sert à tester des modèles vision-langage alignés par instructions dans des dialogues multi-tours combinant texte et images, avec des questions ouvertes traitées en zero-shot.

Son rôle est d’apprécier la capacité d’un modèle à suivre des consignes au fil d’un échange, à maintenir une communication cohérente et à répondre correctement dans des situations multimodales. L’évaluation repose sur un juge LLM attribuant un score sur une échelle de 1 à 10.

Carte d'identité

Classement des modèles (top 17)

Classement établi sur 17 modèles évalués, dont 17 de grands éditeurs. Score médian de l'ensemble : 8,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MM-MT-Bench indique une bonne aptitude à interpréter des entrées texte et image dans un dialogue prolongé, à conserver le fil des instructions et à formuler des réponses ouvertes jugées pertinentes. Dans la base, le classement couvre 17 modèles, avec un meilleur résultat observé pour Mistral Large 3 à 85 %, tandis que le score médian de l’ensemble est de 8 %, ce qui suggère un écart marqué entre les modèles les plus performants et le reste du panel.

La lecture des résultats doit rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs. Le recours à un LLM-as-judge apporte une évaluation scalable des réponses ouvertes, mais dépend du comportement du juge et de ses critères implicites. Les limites habituelles incluent le risque de saturation pour les meilleurs modèles, une contamination éventuelle des données d’évaluation et une portée centrée sur l’anglais, le multimodal et les dialogues multi-tours plutôt que sur l’ensemble des usages d’un modèle.

Sources des scores : llm-stats.