MATH level 5

Epoch: MATH level 5 est une évaluation issue du benchmark MATH, créé par D. Hendrycks et al. Elle se concentre sur les problèmes de niveau 5, les plus difficiles de ce jeu de mathématiques de compétition, et mesure la capacité des modèles à produire des réponses courtes à des questions ouvertes.

Ce benchmark sert à tester le raisonnement mathématique avancé plutôt que la simple reconnaissance de motifs. Il occupe une place utile dans l’évaluation des modèles généralistes, car il met en jeu des démonstrations implicites, des calculs et une compréhension fine d’énoncés formulés en anglais.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 84 modèles évalués, dont 77 de grands éditeurs. Score médian de l'ensemble : 56,2 %.

Notre analyse

Un score élevé sur Epoch: MATH level 5 indique une forte aptitude à résoudre des problèmes mathématiques exigeants, proches de ceux rencontrés en compétition. L’accuracy mesure directement la part de réponses correctes, ce qui rend le résultat lisible, mais ne décrit pas la qualité du raisonnement ni les étapes suivies pour arriver à la réponse. La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, même si cela ne signifie pas que chaque résultat de la base bénéficie du même niveau de vérification.

Le classement montre un écart marqué entre la médiane de l’ensemble, à 56 %, et le meilleur score observé, GPT-5 (OpenAI) à 98 %, signe que les modèles les plus performants approchent une forme de saturation sur ce sous-ensemble. Cette saturation limite la capacité du benchmark à départager les systèmes de pointe. Le caractère public de MATH crée aussi un risque de contamination des données d’entraînement. Enfin, la portée reste ciblée : l’évaluation porte sur des problèmes mathématiques en anglais, et ne résume pas les compétences générales d’un modèle.

Sources des scores : epoch.