ARC-E

ARC-E est la partie « Easy Set » de AI2 Reasoning Challenge, un benchmark conçu par Allen Institute for Artificial Intelligence (AI2) avec Peter Clark et al. Il regroupe des questions scientifiques de niveau scolaire sous forme de QCM, en anglais, afin d’évaluer la capacité des modèles à mobiliser des connaissances factuelles et un raisonnement élémentaire.

Dans une modelothèque, ARC-E sert d’indicateur de performance sur des tâches de compréhension scientifique accessibles. Il renseigne surtout sur la capacité à retrouver et combiner des informations simples dans un contexte guidé par des choix de réponse.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 8)

Classement établi sur 8 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 81,6 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ARC-E indique une bonne maîtrise des questions scientifiques scolaires les plus accessibles du jeu AI2 Reasoning Challenge, avec une capacité à associer connaissances factuelles, compréhension de l’énoncé et sélection de la bonne réponse. Comme l’Easy Set contient des questions pouvant être résolues par des approches fondées sur la recherche d’information ou la cooccurrence de mots, le benchmark distingue moins fortement les modèles avancés que des tests plus difficiles. Dans la base considérée, le score médian atteint 82 %, et le meilleur résultat recensé est celui de Gemma 2 27B (Google), à 89 %, ce qui suggère un classement relativement resserré sur cette tâche. La lecture des écarts doit rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs. Les limites principales tiennent donc à une possible saturation, au risque de contamination des données d’entraînement et à une portée centrée sur des QCM scientifiques scolaires en anglais, plutôt que sur un raisonnement scientifique ouvert ou expert.

Sources des scores : llm-stats.