MATH-500

MATH-500 est un benchmark de mathématiques conçu pour évaluer la capacité des modèles d’IA à résoudre des problèmes de compétition exigeants. Créé par OpenAI, avec H. Lightman et al., à partir du jeu MATH de D. Hendrycks et al., il rassemble des questions ouvertes à réponse courte accompagnées de solutions détaillées.

Le benchmark mesure surtout le raisonnement multi-étapes, le calcul symbolique et l’identification de la réponse finale correcte. Il sert de repère pour comparer les modèles sur des tâches mathématiques structurées, où la justesse du résultat compte autant que la capacité à suivre une chaîne de raisonnement fiable.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 31 modèles évalués, dont 18 de grands éditeurs. Score médian de l'ensemble : 95,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MATH-500 indique qu’un modèle sait traiter des problèmes mathématiques de compétition en anglais, souvent complexes, avec une bonne maîtrise du raisonnement séquentiel et des transformations symboliques. La métrique repose sur l’exact match, ce qui rend l’évaluation stricte sur la réponse finale, mais ne garantit pas à elle seule la qualité du raisonnement intermédiaire. Dans la base considérée, les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité directe avec des mesures entièrement reproduites dans un cadre indépendant. Le niveau médian très élevé et le meilleur score proche du plafond suggèrent une saturation partielle du benchmark parmi les modèles récents évalués. Cette situation réduit sa capacité à départager finement les meilleurs systèmes. Les limites portent aussi sur la portée du test, centré sur des problèmes de compétition, et sur le risque de contamination lié à un jeu public. Le classement révèle surtout l’efficacité des modèles de pointe sur des mathématiques formalisées, plus qu’une compétence mathématique générale.

Sources des scores : llm-stats.