Language

LiveBench: Language est la catégorie consacrée à la compréhension du langage au sein de LiveBench, un benchmark créé par l’équipe LiveBench réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California.

Il évalue des modèles sur des tâches ancrées dans des sources récentes, comme des articles ou des synopsis, avec des exercices de réorganisation de texte, de correction d’erreurs ou de déduction. Son rôle est de mesurer des compétences linguistiques pratiques au moyen de réponses vérifiables, sans recours à un juge LLM.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 76 modèles évalués, dont 58 de grands éditeurs. Score médian de l'ensemble : 71,6 %.

Notre analyse

Un score élevé sur LiveBench: Language indique une bonne capacité à extraire, réorganiser et exploiter des informations textuelles récentes dans des tâches à vérité-terrain objective. Le meilleur score recensé dans la base, Claude Fable 5 à 88 %, se situe au-dessus d’une médiane de 72 % observée sur 76 modèles, ce qui suggère un écart encore visible entre les systèmes les plus performants et le niveau central du classement.

• Rigueur : la notation automatique sur réponses vérifiables limite la subjectivité et évite les variations liées à un juge LLM.
• Fiabilité : les scores étant majoritairement auto-déclarés par les éditeurs, leur comparaison dépend de la qualité du reporting et de conditions d’évaluation cohérentes.
• Limites : le benchmark reste centré sur l’anglais et sur la compréhension du langage. Les sources récentes réduisent certains risques de contamination, sans les exclure totalement. Une saturation peut apparaître si les meilleurs modèles convergent vers des scores proches.

Sources des scores : livebench.