MGSM

MGSM, pour Multilingual Grade School Math, est un benchmark publié en 2022 par Google Research et F. Shi et al. Il adapte des problèmes de mathématiques de niveau école primaire issus de GSM8K dans dix langues typologiquement diverses, afin d’évaluer le raisonnement arithmétique multilingue des modèles.

Le test repose sur des questions ouvertes appelant une réponse numérique courte. Il sert à mesurer la capacité d’un modèle à comprendre un énoncé mathématique dans différentes langues, à effectuer les étapes de calcul nécessaires et à produire une réponse exacte.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 30 modèles évalués, dont 30 de grands éditeurs. Score médian de l'ensemble : 83,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MGSM indique une bonne maîtrise conjointe de la compréhension multilingue, du raisonnement arithmétique et de la génération d’une réponse numérique exacte. La métrique accuracy / exact match rend l’évaluation stricte, car une réponse n’est comptée correcte que si elle correspond au résultat attendu. Dans la base considérée, le score médian atteint 84 %, tandis que Llama 4 Maverick (Meta) atteint 92 %, ce qui suggère un benchmark déjà assez bien maîtrisé par les meilleurs modèles évalués.

La lecture du classement doit toutefois rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité si les conditions d’évaluation ne sont pas homogènes. MGSM couvre un périmètre précis, les mathématiques de niveau école primaire en dix langues, et ne mesure pas d’autres formes de raisonnement mathématique. Son origine à partir de GSM8K et son accès public peuvent aussi exposer le benchmark à des risques de contamination. Le classement révèle donc surtout la solidité relative des modèles sur un raisonnement arithmétique multilingue court, plus qu’une capacité mathématique générale.

Sources des scores : llm-stats.