HiddenMath

HiddenMath est un benchmark interne de Google DeepMind consacré au raisonnement mathématique de niveau compétition. Il repose sur des problèmes nouveaux, conçus comme un jeu retenu, afin de limiter le risque que les modèles aient déjà rencontré les questions pendant leur entraînement.

Son objectif est d’évaluer la capacité d’un modèle à résoudre réellement des problèmes mathématiques, plutôt qu’à restituer des réponses mémorisées. Dans une modelothèque, HiddenMath sert donc de signal spécialisé sur la robustesse du raisonnement formel, avec une attention particulière portée à la contamination des données.

Carte d'identité

Classement des modèles (top 13)

Classement établi sur 13 modèles évalués, dont 13 de grands éditeurs. Score médian de l'ensemble : 43,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur HiddenMath indique une meilleure capacité à traiter des problèmes mathématiques exigeants en anglais, dans un cadre pensé pour réduire la mémorisation. Le meilleur résultat recensé dans la base, Gemini 2.0 Flash à 63 %, se situe au-dessus d’une médiane de 43 %, ce qui suggère une dispersion notable des performances parmi les 13 modèles évalués. L’interprétation doit toutefois rester prudente : les scores sont majoritairement auto-déclarés par les éditeurs, et le jeu de test est privé, avec des réponses non divulguées. Cette confidentialité renforce la protection contre la contamination, mais limite aussi la vérifiabilité externe. Le classement reflète surtout les performances de modèles Google, puisque les 13 modèles classés sont édités par Google, créateur du benchmark. HiddenMath n’est donc pas une source indépendante pour comparer les modèles Google à ceux d’autres éditeurs. Sa portée reste spécialisée, centrée sur les mathématiques de compétition, sans prétendre mesurer l’ensemble des capacités générales d’un modèle.

Sources des scores : llm-stats.