ARC-AGI v2

ARC-AGI v2 est un benchmark conçu pour évaluer le raisonnement abstrait des systèmes d’IA à partir de tâches visuelles de transformation de grilles. Créé par ARC Prize Foundation, avec François Chollet, Mike Knoop, Gregory Kamradt et d’autres contributeurs, il prolonge l’approche ARC autour de problèmes simples à comprendre pour les humains mais difficiles à généraliser pour les modèles.

Le test mesure l’intelligence fluide, la reconnaissance de motifs, le raisonnement spatial et la généralisation compositionnelle à partir de très peu d’exemples. Son rôle est d’isoler une forme de résolution de problèmes moins dépendante du langage ou de la mémorisation textuelle.

Carte d'identité

Classement des modèles (top 16)

Classement établi sur 16 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 47,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ARC-AGI v2 indique qu’un modèle parvient à inférer des règles de transformation inédites à partir de paires entrée-sortie limitées, puis à produire exactement la bonne grille sur les cas de test, avec jusqu’à deux essais. Dans la base, l’écart entre un score médian de 48 % et le meilleur résultat, GPT-5.5 (OpenAI) à 85 %, suggère une hiérarchie nette entre modèles, sans saturation complète du classement observé.

La lecture des résultats doit rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs. L’existence d’un ensemble de test privé renforce l’intérêt du benchmark, mais l’accès public à une partie des tâches impose de surveiller les risques de contamination et d’optimisation spécifique. ARC-AGI v2 couvre une compétence précise, le raisonnement abstrait sur grilles visuelles, et ne mesure ni les capacités langagières, ni l’usage d’outils, ni la robustesse en contexte applicatif réel.

Sources des scores : llm-stats.