LongBench v2

LongBench v2 est un benchmark conçu pour évaluer la capacité des grands modèles de langage à traiter des problèmes en contexte très long. Créé par THUDM (Tsinghua University) et al., il cible des situations réalistes où la simple récupération d’information ne suffit pas toujours.

Le benchmark mesure la compréhension approfondie et le raisonnement sur des tâches couvrant la QA mono- et multi-document, l’apprentissage en contexte, l’historique de dialogue, le code et les données structurées. Il sert ainsi de repère pour comparer la robustesse des modèles face à des entrées longues et hétérogènes.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 15)

Classement établi sur 15 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 60,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur LongBench v2 indique qu’un modèle parvient à exploiter efficacement un contexte étendu pour choisir la bonne réponse dans un format QCM, avec des exigences de compréhension et de raisonnement sur plusieurs types de tâches. Dans la base, le classement apparaît resserré: le meilleur modèle, Qwen3.5-397B-A17B (Qwen), atteint 63%, tandis que la médiane des 16 modèles évalués est de 61%. Cet écart limité suggère une différenciation modérée entre les systèmes présents, sans signal de domination nette.

La lecture des résultats doit rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui réduit la comparabilité avec une évaluation entièrement reproduite dans un cadre contrôlé. Le benchmark étant public, le risque de contamination ne peut pas être écarté. Sa portée est aussi encadrée par le format QCM et par l’anglais, ce qui ne couvre pas toutes les formes de génération, de multilinguisme ou d’usage en contexte long.

Sources des scores : llm-stats.