Reasoning

LiveBench: Reasoning est la catégorie consacrée au raisonnement dans LiveBench, un benchmark public pour LLM créé par l’équipe LiveBench, associant notamment Abacus.AI et NYU. Publié en 2024, il vise à limiter la contamination en renouvelant régulièrement ses tâches.

Ce volet mesure la capacité des modèles à résoudre des énigmes de logique et des problèmes de déduction étape par étape. Les réponses ouvertes sont corrigées automatiquement à partir d’une vérité-terrain objective, ce qui en fait un repère utile pour comparer la robustesse du raisonnement déductif.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 76 modèles évalués, dont 58 de grands éditeurs. Score médian de l'ensemble : 70,0 %.

Notre analyse

Un score élevé sur LiveBench: Reasoning indique une bonne capacité à suivre des contraintes logiques, à maintenir une chaîne de déduction cohérente et à produire une réponse vérifiable. Le meilleur résultat recensé dans la base, Claude Opus 4.8 à 90 %, se situe nettement au-dessus du score médian de 70 %, ce qui suggère encore une différenciation entre modèles, même si les meilleurs systèmes peuvent approcher une zone de saturation sur certaines tâches. La rigueur du benchmark tient à sa correction automatique sur vérité-terrain et à son renouvellement mensuel, destiné à réduire la contamination. La fiabilité pratique du classement reste toutefois à nuancer, car les scores sont majoritairement auto-déclarés par les éditeurs. La portée est également circonscrite: les tâches sont en anglais et ciblent le raisonnement logique et déductif, sans couvrir l’ensemble des compétences d’un modèle généraliste. Le classement met donc surtout en évidence la performance sur des problèmes objectifs de déduction, plutôt qu’une intelligence générale complète.

Sources des scores : livebench.