ARC-C

ARC-C est le sous-ensemble Challenge de l’AI2 Reasoning Challenge, un benchmark de questions scientifiques de niveau scolaire au format QCM. Créé par AI2 (Allen Institute for AI) avec Peter Clark et al., il cible des questions conçues pour mettre en défaut les approches simples fondées sur la récupération d’information ou la cooccurrence de mots.

Le benchmark sert à évaluer la capacité des modèles à mobiliser un raisonnement scientifique, du bon sens et des inférences robustes face à des questions difficiles. Il occupe ainsi un rôle utile pour distinguer la simple reconnaissance de motifs d’une compréhension plus structurée.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 34 modèles évalués, dont 27 de grands éditeurs. Score médian de l'ensemble : 75,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ARC-C indique qu’un modèle répond correctement à une forte proportion de questions à choix multiples réputées difficiles, avec une mesure fondée sur l’accuracy. Dans la base, le score médian atteint 75 %, tandis que le meilleur résultat recensé est celui de MiMo-V2.5-Pro (Xiaomi) à 97 %, ce qui suggère une forte progression des modèles les plus performants sur ce benchmark. Cette avance doit toutefois être interprétée avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs et ne relèvent donc pas toujours d’une évaluation indépendante et homogène. ARC-C reste également limité à des questions en anglais, dans un format QCM, et à un domaine centré sur les sciences de niveau scolaire et le raisonnement de bon sens. Les résultats élevés peuvent signaler une forme de saturation partielle, ainsi qu’un risque de contamination des données d’entraînement pour des modèles récents. Le classement révèle surtout la capacité relative des systèmes à traiter ce type précis de raisonnement contraint.

Sources des scores : llm-stats.