MATH

MATH est un benchmark conçu par D. Hendrycks et al. pour évaluer la capacité des modèles d’IA à résoudre des problèmes mathématiques exigeants, issus de compétitions et formulés en questions ouvertes à réponse courte. Chaque exercice s’accompagne d’une solution détaillée, ce qui en fait un jeu centré sur le raisonnement mathématique plutôt que sur la simple reconnaissance de motifs.

Le benchmark couvre des domaines comme l’algèbre, la géométrie, la théorie des nombres, les probabilités et le pré-calcul. Il sert à mesurer la robustesse des modèles face à des tâches nécessitant plusieurs étapes de raisonnement, de la manipulation symbolique et des connaissances mathématiques structurées.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 70 modèles évalués, dont 65 de grands éditeurs. Score médian de l'ensemble : 71,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MATH indique une forte aptitude à produire une réponse finale exacte sur des problèmes mathématiques de niveau concours, avec des raisonnements souvent multi-étapes. La métrique d’exact match rend l’évaluation stricte, car seule la réponse finale compte, même si les problèmes disposent de solutions détaillées. Dans la base considérée, le classement montre un niveau déjà élevé, avec une médiane à 71 % sur 71 modèles évalués et un meilleur score de 98 % pour o3-mini (OpenAI). Cette proximité avec le plafond suggère un risque de saturation pour les modèles les plus performants. La prudence reste nécessaire, car les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite leur comparabilité avec des évaluations entièrement reproduites de manière indépendante. Le caractère public du jeu peut aussi accroître les risques de contamination des données d’entraînement. Enfin, MATH mesure surtout la résolution de problèmes mathématiques en anglais, et ne résume pas à lui seul les capacités générales d’un modèle.

Sources des scores : llm-stats.