AIME 2024

AIME 2024 est un benchmark issu de l’American Invitational Mathematics Examination, organisé par la Mathematical Association of America via les American Mathematics Competitions. Il regroupe des problèmes de raisonnement mathématique exigeants, formulés en anglais, avec des réponses courtes sous forme d’entiers.

Dans l’évaluation des grands modèles de langage, AIME 2024 sert à mesurer des capacités proches du niveau olympiade. Il couvre notamment l’algèbre, la géométrie, la combinatoire et la théorie des nombres, avec une notation stricte fondée sur la correspondance exacte de la réponse.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 52 modèles évalués, dont 40 de grands éditeurs. Score médian de l'ensemble : 80,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur AIME 2024 indique une forte aptitude à résoudre des problèmes mathématiques avancés nécessitant plusieurs étapes de raisonnement, plutôt qu’une simple restitution de connaissances. La métrique par exact match rend l’évaluation stricte, car une réponse entière incorrecte ne reçoit pas de crédit partiel. Dans la base, le score médian atteint 80 % sur 53 modèles évalués, tandis que Grok-3 Mini (xAI) atteint 96 %, ce qui suggère un niveau de performance déjà très élevé parmi les meilleurs systèmes recensés. Cette concentration des scores peut toutefois réduire le pouvoir discriminant du benchmark au sommet du classement. La fiabilité doit aussi être interprétée avec prudence, car les résultats sont majoritairement auto-déclarés par les éditeurs, sans garantie uniforme de protocole indépendant. L’accès public crée en outre un risque de contamination des données d’entraînement. Enfin, AIME 2024 mesure un périmètre précis, le raisonnement mathématique olympiade en anglais, et ne permet pas d’inférer seul des performances générales en programmation, connaissances scientifiques ou tâches multimodales.

Sources des scores : llm-stats.