LiveBench

LiveBench est un benchmark généraliste pour grands modèles de langage publié en 2024 par l’équipe LiveBench, avec Abacus.AI, NYU et Colin White et al. Il vise à mesurer des capacités variées, notamment en mathématiques, code, raisonnement, langue, analyse de données et suivi d’instructions.

Son rôle est de fournir une évaluation difficile et moins exposée à la contamination des jeux de test. Les questions sont renouvelées mensuellement à partir de sources récentes, avec des réponses vérifiables et une correction automatique fondée sur une vérité-terrain objective.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 38 modèles évalués, dont 31 de grands éditeurs. Score médian de l'ensemble : 73,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur LiveBench indique une bonne capacité à produire des réponses exactes sur des tâches ouvertes mais objectivement vérifiables, dans plusieurs domaines d’usage des LLM. Le meilleur score recensé dans la base, 85% pour o3-mini (OpenAI), se situe au-dessus d’une médiane de 74% sur 38 modèles, ce qui suggère un classement encore discriminant plutôt qu’un benchmark totalement saturé. La rigueur vient de la correction automatique sur vérité-terrain et du renouvellement mensuel, conçu pour limiter la contamination. L’interprétation reste toutefois prudente, car les scores sont majoritairement auto-déclarés par les éditeurs. Les limites tiennent aussi à la portée linguistique, centrée sur l’anglais, et au périmètre des tâches, généraliste mais organisé autour de six catégories. Le classement met surtout en évidence les modèles capables de maintenir une performance homogène entre raisonnement, code, mathématiques, langue, données et suivi d’instructions.

Sources des scores : llm-stats.