FrontierMath-2025-02-28-Public

Epoch: FrontierMath-2025-02-28-Public est un sous-ensemble public de FrontierMath, créé par Epoch AI et publié en 2025. Il rassemble quelques problèmes rendus publics pour illustrer et tester un benchmark centré sur le raisonnement mathématique avancé, avec des questions de niveau recherche.

Le benchmark sert à observer la capacité des modèles à résoudre des problèmes ouverts nécessitant une réponse numérique ou symbolique, soumise comme objet Python. Il joue un rôle d’échantillon public, tandis que l’essentiel de FrontierMath reste privé.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 64 modèles évalués, dont 55 de grands éditeurs. Score médian de l'ensemble : 10,0 %.

Notre analyse

Un score élevé sur Epoch: FrontierMath-2025-02-28-Public indique qu’un modèle parvient à produire des réponses exactes sur des problèmes mathématiques difficiles, évalués de façon binaire. La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, ce qui limite la dépendance aux seules déclarations des fournisseurs. Le classement montre une forte dispersion, avec une médiane à 10% parmi les modèles suivis dans la base, tandis que Claude Fable 5 atteint 100% sur cet échantillon. Cette performance doit toutefois être interprétée avec prudence: le jeu public est très petit, composé d’une dizaine de problèmes, ce qui accroît le risque de saturation statistique et rend chaque item très influent. Sa disponibilité publique peut aussi créer un risque de contamination. Enfin, il ne couvre qu’un échantillon illustratif de FrontierMath et ne remplace pas l’évaluation privée complète du raisonnement mathématique de recherche.

Sources des scores : epoch.