FrontierMath-Tier-4-2025-07-01-Public

Epoch: FrontierMath-Tier-4-2025-07-01-Public est un benchmark d’Epoch AI consacré au raisonnement mathématique de niveau recherche. Il porte sur les problèmes les plus difficiles de FrontierMath, formulés comme des questions ouvertes à réponse numérique ou symbolique, soumises sous forme d’objets Python.

Ce sous-ensemble public sert à tester la capacité des modèles à résoudre des tâches qui ressemblent à de courts projets de recherche mathématique. Il occupe un rôle de stress test pour les systèmes d’IA les plus avancés, au-delà des évaluations académiques généralistes.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 36 modèles évalués, dont 30 de grands éditeurs. Score médian de l'ensemble : 0,0 %.

Notre analyse

Un score élevé indique qu’un modèle parvient à produire des réponses exactes sur des problèmes mathématiques exceptionnellement exigeants, avec une notation binaire qui ne récompense que la résolution complète. La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, ce qui limite la dépendance aux seules déclarations des fournisseurs. Le classement montre surtout une forte difficulté du benchmark: la médiane est à 0 %, tandis que Claude Fable 5 atteint 100 %, ce qui crée un contraste marqué entre le meilleur résultat observé et l’ensemble des modèles évalués.

Les limites tiennent à la portée très spécialisée du test, centré sur un petit sous-ensemble public du Tier 4. Un résultat élevé ne résume donc pas les capacités générales en mathématiques, en programmation ou en raisonnement. Le caractère public impose aussi une vigilance sur la contamination potentielle, même si le sous-ensemble reste restreint. À l’inverse, l’absence de saturation globale suggère que ce benchmark conserve un pouvoir discriminant pour les modèles de frontière.

Sources des scores : epoch.