ChartQA

ChartQA est un benchmark consacré à la compréhension de graphiques, publié en 2022 par Ahmed Masry et al. Il évalue la capacité des modèles à répondre à des questions ouvertes courtes portant sur des visualisations, avec des réponses textuelles ou numériques.

Son intérêt tient à la combinaison de raisonnement visuel, numérique et logique. ChartQA sert ainsi à mesurer si un modèle peut extraire des informations d’un graphique, interpréter leurs relations et produire une réponse concise, au-delà d’une simple reconnaissance visuelle.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 24 modèles évalués, dont 24 de grands éditeurs. Score médian de l'ensemble : 85,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ChartQA indique une bonne aptitude à lire des graphiques et à résoudre des questions qui exigent souvent plusieurs opérations d’interprétation, de comparaison ou de calcul. La métrique combine exact match et relaxed accuracy, avec une tolérance pour les réponses numériques, ce qui limite les pénalisations liées aux variations mineures de format. Dans la base, le niveau médian élevé, à 86 %, et le meilleur score, 91 % pour Claude 3.5 Sonnet, suggèrent un benchmark déjà fortement maîtrisé par les modèles les plus performants.

Cette lecture doit toutefois rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui réduit l’homogénéité des conditions d’évaluation. La concentration des résultats peut aussi signaler une saturation partielle, rendant les écarts plus difficiles à interpréter. Comme ChartQA est public et en anglais, des risques de contamination des données d’entraînement existent. Enfin, sa portée reste centrée sur les graphiques et ne résume pas, à elle seule, les capacités générales de raisonnement multimodal.

Sources des scores : llm-stats.