FrontierMath

FrontierMath est un benchmark d’Epoch AI consacré au raisonnement mathématique avancé. Il réunit des problèmes originaux, particulièrement difficiles, conçus et vérifiés par des mathématiciens experts, avec des questions ouvertes dont la réponse est courte ou vérifiable.

Le benchmark sert à évaluer la capacité des modèles d’IA à traiter des problèmes relevant de nombreuses branches des mathématiques modernes, de la théorie des nombres à l’analyse réelle, jusqu’à la géométrie algébrique et la théorie des catégories.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 13)

Classement établi sur 13 modèles évalués, dont 13 de grands éditeurs. Score médian de l'ensemble : 26,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur FrontierMath indique une aptitude à produire des raisonnements mathématiques avancés sur des problèmes non triviaux, au-delà de la simple restitution de connaissances. Le niveau médian observé dans la base, 26 %, et le meilleur résultat, GPT-5.4 (OpenAI) à 48 %, suggèrent un benchmark encore peu saturé parmi les 14 modèles évalués. La prudence reste nécessaire, car les scores disponibles sont majoritairement auto-déclarés par les éditeurs, même si le jeu de test privé et les réponses non divulguées renforcent la résistance à la contamination directe. Les limites tiennent aussi à la portée du test : il mesure des mathématiques avancées en anglais, pas l’ensemble des compétences scientifiques, pédagogiques ou de calcul formel. Le classement met surtout en évidence les modèles capables de combiner abstraction, rigueur et résolution de problèmes longs, dans un cadre propriétaire difficile à auditer indépendamment.

Sources des scores : llm-stats.