MathVision

MathVision est un benchmark consacré au raisonnement mathématique multimodal. Créé par l’équipe MATH-Vision (mathllm), il évalue la capacité des modèles à résoudre des problèmes mathématiques qui nécessitent à la fois une compréhension visuelle et un raisonnement formel.

Le benchmark occupe une place spécifique dans l’évaluation des modèles d’IA, car il relie deux domaines souvent testés séparément : l’analyse d’images et la résolution mathématique. Il permet ainsi d’observer si un modèle sait exploiter un contexte visuel pour produire une réponse correcte.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 31 modèles évalués, dont 26 de grands éditeurs. Score médian de l'ensemble : 70,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MathVision indique qu’un modèle parvient à combiner lecture visuelle, interprétation du problème et calcul ou raisonnement mathématique. Le meilleur résultat recensé dans la base, Seed 2.1 Pro (bytedance) à 94 %, se situe nettement au-dessus du score médian de 70 %, ce qui suggère un écart marqué entre les modèles les plus performants et le reste du classement. L’évaluation doit toutefois être interprétée avec prudence, car les scores disponibles sont majoritairement auto-déclarés par les éditeurs, plutôt que mesurés de manière indépendante dans un protocole uniforme. MathVision reste aussi limité à des problèmes en anglais et à son périmètre propre, celui des mathématiques avec contexte visuel. Comme pour tout benchmark public, des risques de saturation ou de contamination ne peuvent pas être écartés, en particulier si les modèles ont été exposés à des données proches durant leur entraînement. Le classement révèle surtout la maturité relative des modèles en raisonnement multimodal spécialisé, sans résumer leur compétence générale.

Sources des scores : llm-stats.