FrontierMath-2025-02-28-Private

Epoch: FrontierMath-2025-02-28-Private est un benchmark privé d’Epoch AI consacré au raisonnement mathématique avancé. Il regroupe des problèmes originaux de niveau recherche, couvrant notamment la théorie des nombres, l’analyse réelle, la géométrie algébrique et la théorie des catégories.

Son objectif est d’évaluer la capacité des modèles d’IA à résoudre des questions mathématiques extrêmement difficiles, avec des réponses numériques ou symboliques soumises sous forme d’objets Python. Il sert ainsi de test exigeant pour distinguer les systèmes capables de raisonnement formel profond.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 69 modèles évalués, dont 60 de grands éditeurs. Score médian de l'ensemble : 14,1 %.

Notre analyse

Un score élevé sur Epoch: FrontierMath-2025-02-28-Private indique une capacité rare à résoudre des problèmes mathématiques complexes et peu standardisés, au-delà des exercices académiques courants. La métrique binaire rend l’interprétation directe, un problème est compté comme résolu ou non, ce qui limite les effets de notation partielle. La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, et par le caractère privé du jeu de test, dont les réponses ne sont pas divulguées, afin de réduire les risques de contamination. Les limites restent importantes : le benchmark ne couvre qu’un domaine spécialisé, en anglais, et mesure surtout l’exactitude finale plutôt que la qualité du raisonnement intermédiaire. Le classement montre une forte dispersion entre modèles : avec une médiane à 14 % et un meilleur score de 52 % pour GPT-5.5 Pro, l’évaluation demeure loin d’être saturée.

Sources des scores : epoch.