ScreenSpot

ScreenSpot est un benchmark d’évaluation du grounding visuel dans les interfaces graphiques, publié en 2024 par Kanzhi Cheng et al. Il teste la capacité d’un modèle multimodal ou d’un agent visuel à interpréter une capture d’écran et à localiser précisément l’élément désigné par une instruction en langage naturel.

Le benchmark couvre des environnements mobiles, desktop et web, avec des éléments d’interface de type texte, icône ou widget. Il sert à mesurer une compétence clé pour les agents capables d’agir dans des logiciels, des sites web ou des systèmes d’exploitation à partir d’instructions textuelles.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 16)

Classement établi sur 16 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 93,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ScreenSpot indique qu’un modèle associe efficacement une consigne textuelle à un élément visuel précis dans une interface graphique. Cette compétence est centrale pour les agents visuels, car une action correcte dépend souvent d’une localisation fiable avant tout clic ou interaction. Le classement de la base montre un niveau très élevé, avec une médiane à 94 % et un meilleur résultat à 96 % pour Qwen3 VL 32B Instruct, ce qui suggère une forte concentration des performances en haut du tableau. Cette proximité limite toutefois le pouvoir discriminant du benchmark entre les meilleurs modèles. L’interprétation doit aussi rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs, donc moins robustes qu’une évaluation entièrement indépendante et reproductible. ScreenSpot reste spécialisé dans des instructions en anglais et dans le grounding d’éléments sur captures d’écran, sans couvrir à lui seul la planification, l’exécution d’actions longues ou la robustesse face à des interfaces inédites. Comme tout jeu public, un risque de contamination ne peut pas être exclu.

Sources des scores : llm-stats.