BIG-Bench Hard

BIG-Bench Hard est un benchmark d’évaluation en anglais conçu par M. Suzgun et al. pour isoler des tâches de BIG-Bench particulièrement difficiles pour les modèles de langage. Il cible des problèmes où les évaluations antérieures ne dépassaient pas la performance moyenne de correcteurs humains.

Le test mesure surtout le raisonnement multi-étapes en langage naturel, avec des questions textuelles à réponse courte. Il couvre notamment le raisonnement arithmétique, logique, symbolique, temporel, spatial et la compréhension de consignes complexes, ce qui en fait un repère utile pour comparer la robustesse des modèles sur des tâches de résolution structurée.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 20 modèles évalués, dont 17 de grands éditeurs. Score médian de l'ensemble : 71,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur BIG-Bench Hard indique une bonne capacité à suivre une chaîne de raisonnement et à produire une réponse courte conforme au résultat attendu, mesurée par exact match ou accuracy. Les meilleurs scores suggèrent donc une maîtrise solide de tâches comme la déduction logique, le comptage d’objets, la navigation, le jugement causal ou la reconnaissance de motifs. Dans la base observée, le classement montre un écart net entre la médiane de l’ensemble et le meilleur résultat, obtenu par Claude 3.5 Sonnet, ce qui signale que le benchmark reste discriminant entre modèles. La prudence reste toutefois nécessaire: les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec des mesures entièrement reproduites par un tiers. Autres limites: le benchmark est uniquement en anglais, peut être exposé à des risques de contamination liés à son accès public, et sa portée reste centrée sur des formats textuels à réponse courte. Une saturation progressive est aussi possible lorsque les modèles se rapprochent des meilleurs niveaux publiés.

Sources des scores : llm-stats.