MVEB Video-Text

MTEB: MVEB Video-Text est un benchmark public consacré à l’évaluation des embeddings texte-vidéo. Créé par MTEB, embeddings-benchmark, avec El Assadi, Solomatin, Muennighoff, Enevoldsen et al., il s’inscrit dans l’écosystème MVEB et cible les modèles dépourvus d’encodeur audio.

Le benchmark mesure la capacité d’un modèle à produire des représentations utiles pour relier du texte et de la vidéo, notamment en récupération, classification, clustering, classification pair/zero-shot et QA centrée vidéo. Il sert à comparer la robustesse des embeddings multimodaux sur des usages proches de la recherche et de l’analyse vidéo.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 24 modèles évalués, dont 8 de grands éditeurs. Score médian de l'ensemble : 50,8 %.

Notre analyse

Un score élevé sur MTEB: MVEB Video-Text indique qu’un modèle aligne efficacement informations visuelles et requêtes textuelles dans plusieurs cadres d’évaluation, de la récupération à la QA vidéo. Le meilleur score recensé dans la base, obtenu par Qwen/Qwen3-VL-Embedding-8B, se situe au-dessus d’une médiane de 51 %, ce qui suggère un écart mesurable entre les modèles les plus performants et le centre du classement. L’interprétation doit toutefois rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs, avec une fiabilité potentiellement moins homogène qu’une évaluation entièrement reproduite par un tiers. Les limites tiennent aussi à la portée du benchmark, principalement anglophone et centré sur le sous-ensemble texte-vidéo de MVEB, ainsi qu’aux risques généraux des benchmarks publics, comme la saturation progressive ou la contamination des données. Le classement met surtout en évidence la maturité relative des embeddings texte-vidéo sans audio, plutôt qu’une mesure complète de compréhension multimodale universelle.

Sources des scores : mteb.