RealWorldQA

RealWorldQA est un benchmark d’évaluation visuelle créé par xAI pour mesurer la compréhension de scènes réelles par des modèles multimodaux. Il se concentre sur des situations du quotidien, notamment des images issues de véhicules et d’autres contextes réels, associées à des questions ouvertes à réponse courte.

Le benchmark évalue surtout le raisonnement spatial, les relations entre objets et la capacité à interpréter correctement une scène naturelle à partir d’une image. Il sert ainsi de test ciblé pour apprécier si un modèle dépasse la simple reconnaissance d’objets et comprend l’organisation concrète d’un environnement visuel.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 25 modèles évalués, dont 23 de grands éditeurs. Score médian de l'ensemble : 78,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur RealWorldQA indique qu’un modèle répond correctement à des questions visuelles simples mais ancrées dans le réel, où la position des objets, les interactions et le contexte de scène jouent un rôle important. La métrique utilisée, l’accuracy, rend les résultats faciles à comparer, mais elle ne décrit pas finement les types d’erreurs ni la robustesse selon les catégories de scènes.

La lecture du classement doit rester prudente, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. Cela limite la rigueur comparative face à une évaluation entièrement indépendante et homogène. Le score médian de 78 % et le meilleur résultat, 87 % pour Qwen3.7-Plus, suggèrent un benchmark déjà bien maîtrisé par les modèles les plus performants, sans prouver une compréhension visuelle générale. Les limites principales tiennent à la taille réduite du jeu, à son périmètre anglophone, au risque de saturation et à une éventuelle contamination des données publiques. Le classement met surtout en évidence les modèles multimodaux solides sur le raisonnement spatial quotidien.

Sources des scores : llm-stats.