GSM8k

GSM8k est un benchmark de mathématiques en langage naturel conçu par OpenAI, associé à Karl Cobbe et al. Il regroupe des problèmes de niveau école primaire qui demandent plusieurs étapes de raisonnement et des opérations arithmétiques élémentaires.

Dans l’évaluation des modèles d’IA, GSM8k sert à mesurer la capacité à suivre un énoncé, construire une solution intermédiaire et produire une réponse finale correcte. Son format ouvert à réponse courte en fait un repère courant pour comparer le raisonnement mathématique de base.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 47 modèles évalués, dont 37 de grands éditeurs. Score médian de l'ensemble : 91,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur GSM8k indique qu’un modèle parvient généralement à résoudre correctement des problèmes arithmétiques formulés en langage naturel, avec une réponse finale évaluée en exact match ou accuracy. Le niveau médian observé dans la base, 91 %, montre que le benchmark est désormais bien maîtrisé par de nombreux modèles, tandis que MiMo-V2.5-Pro (Xiaomi) atteint 100 % dans le classement recensé.

Cette performance doit être interprétée avec prudence. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité stricte entre modèles si les protocoles ne sont pas vérifiés de manière indépendante. Le benchmark peut aussi souffrir de saturation, car de très hauts scores réduisent sa capacité à distinguer les meilleurs systèmes. Sa diffusion publique et sa licence ouverte augmentent en outre le risque de contamination des données d’entraînement. Enfin, GSM8k évalue une portée précise, le raisonnement arithmétique scolaire en anglais, sans couvrir l’ensemble des compétences mathématiques ou scientifiques d’un modèle.

Sources des scores : llm-stats.