LVBench

LVBench est un benchmark de compréhension de vidéos longues conçu par Zhipu AI (Z.ai) et Tsinghua University. Il vise à évaluer des modèles multimodaux confrontés à des séquences pouvant atteindre environ deux heures, un cadre plus exigeant que les tests vidéo centrés sur des extraits courts.

Le benchmark mesure la capacité à combiner vision, contexte long, mémoire à long terme et extraction d’information pour répondre à des questions à choix multiples. Il sert ainsi de repère pour comparer les modèles capables de maintenir une compréhension cohérente sur une durée étendue.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 23 modèles évalués, dont 20 de grands éditeurs. Score médian de l'ensemble : 62,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur LVBench indique qu’un modèle parvient à conserver et exploiter des informations réparties sur de longues vidéos, plutôt qu’à reconnaître seulement des scènes isolées. Dans la base considérée, le meilleur résultat recensé est Seed 2.1 Pro à 78 %, au-dessus d’un score médian de 63 % sur 23 modèles, ce qui suggère un écart encore net entre les systèmes les plus performants et le reste du classement. La lecture des résultats doit toutefois rester prudente : les scores sont majoritairement auto-déclarés par les éditeurs, donc moins solides qu’une évaluation entièrement reproduite et contrôlée. Le format QCM facilite la mesure par exactitude, mais limite aussi l’analyse fine des raisonnements ou des réponses ouvertes. Le benchmark étant public et en anglais, une contamination des données ne peut pas être exclue. LVBench reste surtout pertinent pour les usages nécessitant une compréhension de vidéos très longues, sans couvrir l’ensemble des capacités multimodales possibles.

Sources des scores : llm-stats.