FrontierMath-Tier-4-2025-07-01-Private

Epoch: FrontierMath-Tier-4-2025-07-01-Private est une variante privée de FrontierMath, un benchmark conçu par Epoch AI pour tester le raisonnement mathématique avancé des modèles d’IA. Il repose sur des problèmes originaux, élaborés par des experts, avec des réponses courtes et vérifiables.

Ce benchmark sert à évaluer la capacité des modèles de pointe à traiter des questions mathématiques très difficiles, souvent proches du niveau recherche. Son format privé vise une mesure plus contrôlée des performances, sans divulgation publique des questions ni des réponses.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 55 modèles évalués, dont 45 de grands éditeurs. Score médian de l'ensemble : 4,2 %.

Notre analyse

Un score élevé sur Epoch: FrontierMath-Tier-4-2025-07-01-Private indique une capacité rare à résoudre des problèmes mathématiques inédits nécessitant un raisonnement poussé, au-delà de la simple restitution de connaissances. La métrique d’accuracy rend le résultat lisible, mais elle ne décrit pas la qualité du raisonnement intermédiaire ni la robustesse sur d’autres domaines. La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, ce qui limite le poids des déclarations purement auto-rapportées. Le caractère privé du jeu de test réduit aussi le risque de contamination, tout en créant une limite de transparence, puisque les questions et réponses ne sont pas publiques. Le classement montre un benchmark très discriminant: la médiane de l’ensemble reste faible, tandis que AI co-mathematician atteint un niveau nettement supérieur. Cela suggère une absence de saturation et un écart important entre les meilleurs systèmes et la majorité des modèles évalués.

Sources des scores : epoch.