AI2D

AI2D est un benchmark consacré à la compréhension de diagrammes scientifiques issus des sciences naturelles scolaires. Créé par l’Allen Institute for Artificial Intelligence avec Kembhavi et al., il repose sur des schémas illustratifs accompagnés de questions à choix multiples en anglais.

Le benchmark mesure la capacité des modèles à interpréter des éléments visuels, des relations spatiales, structurelles et sémantiques, puis à raisonner sur des concepts scientifiques représentés sous forme graphique. Il sert ainsi à évaluer une compétence multimodale spécifique, distincte de la simple reconnaissance d’image ou du raisonnement textuel.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 32 modèles évalués, dont 32 de grands éditeurs. Score médian de l'ensemble : 88,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur AI2D indique une bonne aptitude à lire des diagrammes, identifier leurs composants et relier ces informations à une question scientifique. La performance reflète donc une combinaison de perception visuelle structurée, de compréhension sémantique et de raisonnement sur des représentations schématiques. Dans la base, le niveau médian atteint déjà 88 %, tandis que le meilleur résultat recensé, Claude 3.5 Sonnet, atteint 95 %, ce qui suggère un benchmark relativement bien maîtrisé par les modèles les plus performants.

L’interprétation du classement doit rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité stricte entre modèles si les protocoles d’évaluation ne sont pas entièrement homogènes. La proximité des meilleurs résultats peut aussi traduire une forme de saturation, où de faibles écarts deviennent difficiles à interpréter. D’autres limites tiennent à la portée du jeu, centré sur des diagrammes scolaires en anglais, et au risque général de contamination des données pour les benchmarks publics. Le classement renseigne surtout sur la robustesse des modèles face à des schémas scientifiques structurés, pas sur l’ensemble des capacités multimodales.

Sources des scores : llm-stats.