Mathematics

LiveBench: Mathematics est la catégorie mathématique de LiveBench, un benchmark publié en 2024 par l’équipe LiveBench, réunissant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California. Il évalue la capacité des modèles d’IA à résoudre des problèmes mathématiques récents, notamment issus de compétitions comme AMC ou AIME, ainsi que des versions durcies de benchmarks existants.

Son rôle est de fournir une mesure plus résistante à la contamination des données d’entraînement, grâce à des énoncés récents et à une notation automatique fondée sur une vérité-terrain objective, sans recours à un juge LLM.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 76 modèles évalués, dont 58 de grands éditeurs. Score médian de l'ensemble : 79,6 %.

Notre analyse

Un score élevé sur LiveBench: Mathematics indique une forte aptitude à traiter des problèmes mathématiques structurés, souvent proches de formats de compétition, avec des réponses vérifiables automatiquement. La présence d’un meilleur score à 96% pour GPT-5.5 et d’un score médian de 80% parmi les 76 modèles suivis suggère que les meilleurs systèmes atteignent déjà un niveau très élevé sur cette catégorie. Cela peut aussi signaler un risque de saturation partielle, surtout si les écarts en tête deviennent faibles.

La rigueur du benchmark repose sur une correction automatique à partir d’une vérité-terrain objective, ce qui limite la subjectivité et évite les biais possibles d’un juge LLM. En revanche, la fiabilité pratique du classement dépend aussi de la provenance des résultats, majoritairement auto-déclarés par les éditeurs. Les limites portent sur la portée linguistique, limitée à l’anglais, sur le périmètre centré sur les mathématiques de compétition et les démonstrations, ainsi que sur le risque de contamination que l’usage de compétitions récentes cherche à réduire sans pouvoir l’exclure totalement.

Sources des scores : livebench.