FrontierMath-Tiers-1-3-v2-Private

Epoch: FrontierMath-Tiers-1-3-v2-Private est un benchmark d’Epoch AI consacré au raisonnement mathématique avancé. Il s’appuie sur des problèmes de recherche à réponse exacte, numériques ou symboliques, couvrant un spectre allant du premier cycle à des problèmes exploratoires de niveau doctorat.

Ce test sert à situer les modèles d’IA sur des tâches où la réponse peut être vérifiée de manière binaire. Son jeu privé, dont les réponses ne sont pas divulguées, vise à limiter l’apprentissage direct des solutions et à fournir un repère exigeant pour comparer les capacités de résolution mathématique.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 31 modèles évalués, dont 28 de grands éditeurs. Score médian de l'ensemble : 55,8 %.

Notre analyse

Un score élevé sur Epoch: FrontierMath-Tiers-1-3-v2-Private indique une forte capacité à produire des réponses exactes à des problèmes mathématiques difficiles, sans notation partielle. L’évaluation est donc stricte, puisqu’une solution n’est créditée que si elle correspond à la réponse attendue. La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, plutôt que seulement auto-déclarés. Le classement montre un écart notable entre la médiane de l’ensemble et le meilleur résultat observé, GPT-5.5 Pro (OpenAI) à 88%, ce qui suggère une différenciation encore nette entre modèles. Les limites tiennent à la portée du test, centré sur des problèmes mathématiques en anglais et à réponse exacte, ainsi qu’au risque général de contamination, même réduit par l’accès privé. La saturation semble limitée tant que les meilleurs modèles ne se rapprochent pas d’une exactitude parfaite, mais le benchmark ne mesure pas d’autres dimensions comme l’explication, la robustesse hors format ou les usages non mathématiques.

Sources des scores : epoch.