ERQA

ERQA est un benchmark de Google DeepMind consacré au raisonnement incarné, c’est-à-dire à la capacité d’un modèle à interpréter des situations visuelles liées aux interactions avec le monde physique. Il repose sur des questions visuelles à choix multiples, avec images et texte entrelacés, formulées en anglais.

Le benchmark évalue notamment le raisonnement spatial, les trajectoires, les actions, l’estimation d’état et le raisonnement multi-vues. Il sert à mesurer si un modèle peut dépasser la simple reconnaissance visuelle pour raisonner sur des scènes, des déplacements et des conséquences d’actions.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 22 modèles évalués, dont 20 de grands éditeurs. Score médian de l'ensemble : 56,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ERQA indique une meilleure capacité à combiner vision, compréhension spatiale et raisonnement sur l’action dans des contextes physiques. Comme la métrique repose sur l’exactitude à des questions à choix multiples, la comparaison entre modèles est directe, mais elle ne capture pas toute la richesse d’un raisonnement ouvert ou interactif. Dans la base, 22 modèles sont évalués, avec un score médian de 56% et un meilleur résultat de 72% pour Seed 2.1 Pro (bytedance), ce qui suggère une marge de progression notable plutôt qu’une saturation complète du benchmark. La fiabilité doit toutefois être interprétée avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs. Les limites principales tiennent à la portée du jeu, limité à 400 questions en anglais, au format QCM, ainsi qu’au risque général de contamination dès lors qu’un benchmark public devient connu. Le classement met surtout en évidence les modèles les plus solides sur le raisonnement visuel incarné, sans constituer une mesure globale de l’intelligence ou de l’aptitude robotique réelle.

Sources des scores : llm-stats.