ScreenSpot Pro

ScreenSpot Pro est un benchmark d’ancrage visuel pour interfaces graphiques, créé par les auteurs de ScreenSpot-Pro, dont Kaixin Li et al. Il évalue la capacité de modèles multimodaux à localiser un élément d’interface à partir d’une instruction, sur des captures haute résolution issues de logiciels professionnels.

Son intérêt est de tester la perception GUI dans des environnements plus complexes que les captures grand public ou recadrées. Le benchmark met l’accent sur des éléments minuscules, denses et contextualisés, afin de mesurer si un modèle peut produire un point de clic correct dans la zone cible.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 23 modèles évalués, dont 23 de grands éditeurs. Score médian de l'ensemble : 61,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ScreenSpot Pro indique une bonne capacité à relier une consigne textuelle à un élément précis d’une interface professionnelle, même lorsque l’écran est dense et en haute résolution. Cette performance est directement liée à l’utilisabilité potentielle d’un modèle dans des tâches d’agent GUI, où une erreur de localisation peut empêcher l’action attendue. L’évaluation repose sur une exactitude d’ancrage, c’est-à-dire la présence du point prédit dans la bounding box cible, avec des annotations expertes. La lecture du classement doit toutefois rester prudente, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. Le meilleur résultat recensé, Claude Opus 4.8 à 88 %, se détache d’un score médian de 62 %, ce qui suggère des écarts importants entre modèles. Les limites principales concernent la portée linguistique en anglais, le risque général de contamination pour tout benchmark public, et une éventuelle saturation future si les meilleurs modèles approchent le plafond de la métrique.

Sources des scores : llm-stats.