MVEB

MTEB: MVEB est un benchmark du projet MTEB / embeddings-benchmark, associé notamment à El Assadi, Solomatin, Muennighoff et Enevoldsen. Publié en 2026, il évalue la qualité des embeddings vidéo audio-visuels, c’est-à-dire la capacité d’un modèle à produire des représentations exploitables de contenus combinant image, mouvement et son.

Le benchmark couvre plusieurs usages centraux des embeddings multimodaux, dont la recherche, la classification, le clustering, la comparaison de paires, la classification zero-shot et la QA centrée vidéo. Il sert ainsi de repère pour comparer des modèles capables de traiter conjointement les signaux audio et vidéo.

Carte d'identité

Classement des modèles (top 16)

Classement établi sur 16 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 52,6 %.

Notre analyse

Un score élevé sur MTEB: MVEB indique qu’un modèle produit des embeddings vidéo audio-visuels utiles dans des contextes variés, pas seulement sur une tâche isolée. La métrique étant dépendante de chaque tâche puis agrégée, le résultat reflète une performance globale sur plusieurs formes d’évaluation, de la recherche à la QA vidéo. Dans la base considérée, 16 modèles sont évalués, avec un score médian de 53 % et un meilleur résultat de 58 % pour LCO-Embedding/LCO-Embedding-Omni-7B (LCO-Embedding), ce qui suggère un écart mesuré mais non massif entre le centre du classement et la tête.

La lecture du classement doit rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec une évaluation entièrement reproduite et contrôlée. Les limites classiques des benchmarks s’appliquent aussi : possible saturation si les modèles convergent sur les tâches, risque de contamination selon l’exposition aux données, et portée principalement anglophone. MVEB reste surtout pertinent pour juger la qualité d’embeddings audio-visuels conjoints, moins pour évaluer l’ensemble des capacités multimodales d’un modèle.

Sources des scores : mteb.