CharXiv-R

CharXiv-R est le volet de raisonnement du benchmark CharXiv, créé par Princeton University avec Zirui Wang, Danqi Chen, Sanjeev Arora et leurs coauteurs. Il cible la compréhension de graphiques scientifiques issus d’articles arXiv, avec des questions ouvertes qui demandent de relier plusieurs éléments visuels complexes.

Le benchmark sert à évaluer la capacité des modèles multimodaux à dépasser la simple lecture de graphique pour produire une synthèse raisonnée. Il occupe ainsi une place utile dans l’analyse des modèles capables d’interpréter des figures scientifiques en contexte.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 42 modèles évalués, dont 36 de grands éditeurs. Score médian de l'ensemble : 77,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur CharXiv-R indique une bonne aptitude à extraire, comparer et combiner des informations présentes dans des graphiques scientifiques, puis à formuler une réponse de raisonnement. La métrique d’exactitude rend le résultat lisible, mais la fiabilité doit être interprétée avec prudence, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de façon indépendante.

Le classement montre un écart net entre la performance médiane et le meilleur résultat observé, avec Claude Mythos Preview en tête parmi les modèles référencés. Cette hiérarchie suggère que le raisonnement visuel sur graphiques reste discriminant, même si des signes de saturation peuvent apparaître lorsque les meilleurs modèles approchent des scores très élevés. Les limites tiennent aussi à la portée du test, centré sur des graphiques scientifiques en anglais, ainsi qu’au risque général de contamination associé à un benchmark public. Les résultats décrivent donc une compétence ciblée, pas une évaluation globale du raisonnement multimodal.

Sources des scores : llm-stats.