CharXiv-D

CharXiv-D est le sous-ensemble descriptif de CharXiv, un benchmark consacré à la compréhension de graphiques scientifiques par des modèles multimodaux. Créé par Princeton Language and Intelligence (Princeton University), UW-Madison et University of Hong Kong, il s’appuie sur des figures issues d’articles arXiv et vérifiées par des experts humains.

Le test mesure la capacité à extraire des informations de base dans des graphiques réels et diversifiés. Les questions portent sur l’identification d’éléments, l’énumération, la reconnaissance de motifs et le comptage, ce qui en fait un indicateur ciblé pour évaluer la lecture visuelle de données scientifiques.

Carte d'identité

Classement des modèles (top 16)

Classement établi sur 16 modèles évalués, dont 13 de grands éditeurs. Score médian de l'ensemble : 87,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur CharXiv-D indique qu’un modèle multimodal parvient généralement à repérer et restituer correctement des informations explicites dans des graphiques scientifiques, comme des éléments visuels, des tendances simples ou des quantités à compter. La métrique repose sur l’exactitude, avec des réponses notées par GPT-4o, ce qui apporte une procédure d’évaluation homogène mais ne remplace pas une validation humaine systématique des sorties de modèles. La fiabilité du classement doit aussi être interprétée avec prudence, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. Avec une médiane à 87 % et un meilleur score à 96 % pour Seed 2.1 Pro, le benchmark suggère une forte performance des meilleurs systèmes sur cette tâche descriptive, avec un risque de saturation progressive. Sa portée reste spécialisée, limitée aux questions descriptives en anglais sur graphiques scientifiques, sans mesurer toute la compréhension d’un article ni le raisonnement scientifique complet. Comme pour tout jeu public, une contamination des données d’entraînement ne peut pas être exclue.

Sources des scores : llm-stats.