PolyMATH

PolyMATH est un benchmark académique de raisonnement mathématique multimodal publié en 2024 par H. Gupta et al., au sein du groupe de Chitta Baral à Arizona State University. Il vise à évaluer les capacités cognitives générales des modèles multimodaux à partir de défis textuels et visuels.

Le benchmark mesure notamment la reconnaissance de motifs, le raisonnement spatial et le raisonnement relatif, sous forme de QCM en anglais. Son rôle est de tester la capacité des modèles à interpréter des informations visuelles et textuelles conjointes, au-delà de la simple restitution de connaissances.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 23 modèles évalués, dont 23 de grands éditeurs. Score médian de l'ensemble : 51,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur PolyMATH indique une bonne aptitude à résoudre des problèmes cognitifs multimodaux, en particulier lorsque la réponse dépend de relations visuelles, de motifs ou de configurations spatiales. L’exactitude fournit une mesure directe de performance, mais l’interprétation du classement doit rester prudente, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs, et non systématiquement mesurés dans un cadre indépendant unique.

Les principales limites tiennent à la portée du test et à son exposition publique. PolyMATH couvre un ensemble précis de défis en anglais, répartis en catégories cognitives, mais ne résume pas à lui seul toutes les formes de raisonnement mathématique ou multimodal. Comme tout benchmark public, il peut aussi être exposé à des risques de contamination des données d’entraînement. Le classement montre néanmoins un écart net entre les meilleurs systèmes et la médiane de l’ensemble, avec Qwen3.7 Max en tête parmi les modèles suivis, ce qui suggère une forte différenciation des capacités sur ce type de tâches.

Sources des scores : llm-stats.