Reasoning (Baseline)

Benchable : Reasoning (Baseline) est un benchmark public créé par Benchable pour évaluer le raisonnement complexe des modèles d’IA. Il s’appuie sur des questions ouvertes couvrant des énigmes logiques, des suites, des cryptarithmes, du raisonnement spatial et des tâches de déduction.

Son rôle est de tester la capacité d’un modèle à produire une solution logique précise, au-delà de la simple restitution de connaissances. L’évaluation repose sur une validation par équivalence sémantique contrôlée par IA, appliquée à la réponse structurée attendue.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 240 modèles évalués, dont 139 de grands éditeurs. Score médian de l'ensemble : 80,0 %.

Notre analyse

Un score élevé sur Benchable : Reasoning (Baseline) indique une forte capacité à résoudre des tâches abstraites nécessitant logique, reconnaissance de motifs, inférence déductive et raisonnement mathématique. La validation par équivalence sémantique, appliquée au champ JSON Path $.answer, permet de tenir compte de formulations différentes lorsque la solution est logiquement identique. Les scores sont au moins partiellement mesurés par un tiers, ce qui apporte davantage de rigueur qu’une déclaration purement fournie par les éditeurs de modèles.

Le classement montre une performance déjà élevée de l’ensemble évalué, avec une médiane à 80 % sur les 240 modèles présents dans la base, et un meilleur résultat à 100 % pour AionLabs: Aion-2.0 (aion-labs). Cette proximité avec le plafond suggère une possible saturation pour les meilleurs systèmes. La portée reste limitée par la taille du jeu, son format en anglais et le périmètre centré sur 50 tâches de raisonnement, avec un risque général de contamination difficile à exclure pour un benchmark public.

Sources des scores : benchable.