MathVista

MathVista est un benchmark publié en 2023 par P. Lu et al. Il évalue le raisonnement mathématique multimodal des modèles de fondation, en combinant compréhension visuelle et résolution de problèmes mathématiques.

Le test porte sur des questions visuelles associant figures, diagrammes, graphiques ou images à des calculs et inférences. Il sert à mesurer la capacité d’un modèle à relier perception visuelle, abstraction mathématique et raisonnement rigoureux dans des contextes variés.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 38 modèles évalués, dont 33 de grands éditeurs. Score médian de l'ensemble : 67,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MathVista indique une forte capacité à interpréter des supports visuels complexes et à produire des réponses mathématiquement correctes, aussi bien dans des formats de QCM que de réponses courtes. Le classement de la base montre un écart notable entre la médiane, située à 68 %, et le meilleur score observé, Seed 2.1 Pro (bytedance) à 91 %, ce qui suggère que le benchmark reste discriminant pour une partie des modèles évalués.

La lecture des résultats doit toutefois rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité stricte en l’absence de protocole de vérification homogène. MathVista couvre un large ensemble de tâches visuelles et mathématiques, mais reste centré sur l’anglais et sur les types de problèmes présents dans ses jeux sources et ses jeux nouvellement créés. Comme pour tout benchmark public, une saturation progressive ou une contamination des données d’entraînement peut aussi réduire sa valeur différenciante au fil du temps.

Sources des scores : llm-stats.