MVEB Video-Only

MTEB: MVEB Video-Only est un benchmark public consacré à l’évaluation des embeddings vidéo, dans le cadre de l’écosystème MTEB. Il a été créé par MTEB (embeddings-benchmark), avec El Assadi, Solomatin, Muennighoff, Enevoldsen et al., pour isoler les performances d’encodeurs vidéo dépourvus de composant texte.

Le benchmark mesure la qualité des représentations vidéo sur des tâches de classification et de pair classification. Son rôle est de comparer la capacité des modèles à produire des embeddings utiles pour regrouper, distinguer ou rapprocher des contenus vidéo, sans s’appuyer sur le langage.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 33 modèles évalués, dont 8 de grands éditeurs. Score médian de l'ensemble : 54,7 %.

Notre analyse

Un score élevé sur MTEB: MVEB Video-Only indique qu’un modèle produit des embeddings vidéo discriminants, capables de soutenir efficacement des tâches de classification et de comparaison par paires. L’évaluation reste toutefois à lire avec prudence, car les métriques varient selon les tâches et les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec des mesures entièrement reproduites de manière indépendante.

• Portée: le benchmark cible uniquement la vidéo sans texte. Les tâches de retrieval, QA et zero-shot sont exclues, car elles nécessitent un encodeur texte.
• Saturation: l’écart entre le score médian et le meilleur score suggère encore une marge de progression, sans prouver à lui seul l’absence de saturation sur certaines tâches.
• Contamination: l’accès public peut favoriser l’optimisation spécifique au benchmark, un risque renforcé lorsque les résultats sont auto-déclarés.

Le classement met en tête Qwen/Qwen3-VL-Embedding-8B, tandis que le niveau médian reste sensiblement inférieur, ce qui signale une hiérarchie nette mais centrée sur un périmètre vidéo-seul.

Sources des scores : mteb.