OSWorld-Verified

OSWorld-Verified est un benchmark conçu par XLang Lab, à l’University of Hong Kong, pour évaluer des agents multimodaux dans de véritables environnements de bureau. Il s’appuie sur des tâches informatiques ouvertes, exécutées dans des applications réelles, avec navigation d’interface, manipulation de fichiers et enchaînements multi-applications.

Le benchmark mesure la capacité d’un modèle à comprendre une interface graphique, à planifier des actions et à mener un workflow jusqu’à son terme. Son intérêt est de rapprocher l’évaluation des usages concrets d’un système d’exploitation, au-delà des tests textuels ou des questions fermées.

Carte d'identité

Classement des modèles (top 17)

Classement établi sur 17 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 73,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur OSWorld-Verified indique qu’un agent parvient fréquemment à transformer une consigne en actions correctes dans un environnement logiciel réel. L’évaluation repose sur l’exécution, avec des scripts propres à chaque tâche, ce qui renforce la rigueur par rapport à une notation déclarative ou subjective. En revanche, la lecture du classement doit rester prudente, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs.

Le niveau médian de 73 % suggère que les meilleurs systèmes maîtrisent déjà une partie importante des workflows testés, mais sans atteindre une fiabilité complète. La tête du classement, avec Claude Fable 5 à 85 %, montre un avantage net sur ces tâches d’interaction GUI. Les limites tiennent à la portée du sous-ensemble vérifié, à la possibilité de saturation si les modèles progressent sur ce format, et au risque de contamination dès lors que les tâches ou leurs variantes deviennent largement connues.

Sources des scores : llm-stats.