OTIS Mock AIME 2024-2025

Epoch: OTIS Mock AIME 2024-2025 est un benchmark public compilé par Epoch AI pour évaluer la résolution de problèmes mathématiques de compétition. Il rassemble des exercices de style AIME, avec des réponses entières, et se situe sur un niveau intermédiaire à avancé.

Ce test sert à mesurer la capacité des modèles à mener un raisonnement mathématique exact sur des problèmes courts mais exigeants. Il complète les évaluations généralistes en ciblant une compétence précise, plus difficile que MATH niveau 5, mais moins extrême que FrontierMath.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 111 modèles évalués, dont 100 de grands éditeurs. Score médian de l'ensemble : 64,4 %.

Notre analyse

Un score élevé sur Epoch: OTIS Mock AIME 2024-2025 indique une forte aptitude à résoudre des problèmes mathématiques de compétition dont la réponse doit être exacte. Comme la métrique repose sur l’accuracy, le classement valorise directement la justesse finale, sans mesurer séparément la qualité du raisonnement intermédiaire. La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, ce qui limite la dépendance aux seules déclarations des fournisseurs de modèles.

Le meilleur résultat recensé atteint 100% avec GPT-5.5 (OpenAI), tandis que la médiane de l’ensemble des 111 modèles évalués est de 64%. Cet écart suggère un benchmark encore discriminant pour une partie importante des modèles, même si le score parfait du leader signale un risque de saturation au sommet. Les limites tiennent aussi à la taille restreinte du jeu, à la langue anglaise, au format unique de réponses entières et au risque général de contamination lorsque des problèmes publics circulent dans les données d’entraînement.

Sources des scores : epoch.