Mathematics (Baseline)

Benchable : Mathematics (Baseline) est un benchmark public conçu par Benchable pour évaluer les capacités mathématiques des modèles d’IA. Il couvre un spectre large, depuis l’arithmétique élémentaire jusqu’à des domaines avancés comme le calcul, l’algèbre linéaire, la topologie, la géométrie algébrique et des problèmes de niveau doctoral.

Le test repose sur des QCM en anglais, avec une validation fondée sur la lettre de réponse attendue. Il sert de repère synthétique pour comparer la précision des modèles sur des tâches mathématiques variées, dans un format simple à scorer et à agréger.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 218 modèles évalués, dont 133 de grands éditeurs. Score médian de l'ensemble : 91,0 %.

Notre analyse

Un score élevé sur Benchable : Mathematics (Baseline) indique une forte capacité à sélectionner la bonne réponse parmi plusieurs options dans un ensemble de problèmes mathématiques de difficulté très hétérogène. La présence de 218 modèles évalués dans la base donne un aperçu comparatif large, et le fait que les scores soient au moins partiellement mesurés par un tiers renforce leur valeur par rapport à des résultats uniquement auto-déclarés. Le score médian de 91 % et un meilleur résultat à 100 % suggèrent toutefois une possible saturation : le benchmark distingue moins finement les modèles les plus performants lorsque beaucoup se rapprochent du plafond. Comme tout jeu public et limité à 100 questions, il ne permet pas à lui seul d’écarter les risques de contamination ni de représenter toute la diversité du raisonnement mathématique. Le classement met néanmoins en évidence des modèles capables d’une précision quasi parfaite sur ce format, notamment Qwen3 VL 32B Instruct en tête.

Sources des scores : benchable.