HMMT25

HMMT25 est un benchmark d’évaluation mathématique construit par MathArena à partir des problèmes du Harvard-MIT Mathematics Tournament. Il cible des exercices de compétition de niveau lycée, dans l’esprit des olympiades, avec des réponses courtes ou numériques plutôt qu’une simple sélection à choix multiples.

Son rôle est de tester la capacité des modèles d’IA à produire un raisonnement mathématique fiable sur des problèmes exigeants. Il sert ainsi de repère spécialisé pour comparer les performances en mathématiques de compétition, au-delà des évaluations généralistes.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 25 modèles évalués, dont 23 de grands éditeurs. Score médian de l'ensemble : 77,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur HMMT25 indique une forte aptitude à résoudre des problèmes mathématiques courts mais difficiles, avec une mesure fondée sur l’exactitude moyenne sur plusieurs essais par problème. Cette approche limite en partie l’effet d’une réponse isolée, mais la fiabilité globale doit être interprétée avec prudence, car les scores disponibles sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière entièrement indépendante.

Le classement montre un niveau déjà élevé parmi les modèles suivis, avec une médiane à 77 % et un meilleur résultat de 97 % pour Grok-4 Heavy (xAI). Cela suggère que les meilleurs systèmes approchent une forme de saturation sur ce jeu précis, ce qui peut réduire la capacité du benchmark à différencier les modèles de tête. Les limites principales tiennent à la taille restreinte du jeu, à son périmètre très spécialisé, à l’usage exclusif de l’anglais et au risque habituel de contamination lorsque des problèmes de compétition deviennent publics.

Sources des scores : llm-stats.