Chess Puzzles

Epoch: Chess Puzzles est un benchmark conçu par Epoch AI pour évaluer la capacité des modèles d’IA à résoudre des positions d’échecs. Chaque tâche consiste à sélectionner le meilleur coup dans une position donnée, avec une réponse de référence validée par Stockfish.

Le test sert d’évaluation légère du raisonnement spatial et de la planification. Intégré à l’Epoch Capabilities Index, il fournit un signal rapide sur la capacité d’un modèle à analyser une configuration structurée et à choisir une action optimale.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 43 modèles évalués, dont 36 de grands éditeurs. Score médian de l'ensemble : 20,0 %.

Notre analyse

Un score élevé indique qu’un modèle parvient fréquemment à identifier le meilleur coup selon Stockfish, ce qui suggère une bonne aptitude à raisonner sur des relations spatiales, à anticiper des séquences et à planifier dans un environnement formel. La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, plutôt que seulement auto-déclarés, et par l’usage d’un moteur d’échecs comme référence de validation. Le benchmark reste toutefois limité par sa portée: il ne mesure pas le langage, la connaissance générale ni la résolution de problèmes ouverts. Sa taille réduite et son accès public peuvent aussi favoriser la saturation ou une éventuelle contamination des données. Le classement montre un écart important entre la performance médiane de l’ensemble évalué et le meilleur résultat observé, GPT-5.5 Pro atteignant 64%, ce qui suggère que la tâche reste discriminante pour les modèles de la base.

Sources des scores : epoch.