OSWorld

OSWorld est un benchmark consacré aux agents multimodaux capables d’agir dans de vrais environnements informatiques. Créé par Tianbao Xie et al., au sein de XLang Lab et avec des collaborateurs, il met l’accent sur des tâches interactives où le modèle doit comprendre l’écran, décider d’un plan d’action et exécuter des opérations dans des applications web et desktop.

Son intérêt est d’évaluer des comportements proches d’un usage réel de l’ordinateur, au-delà de la simple réponse textuelle. OSWorld sert ainsi de repère pour comparer la capacité des modèles à enchaîner perception visuelle, raisonnement pratique et contrôle d’interface.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 20 modèles évalués, dont 17 de grands éditeurs. Score médian de l'ensemble : 39,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur OSWorld indique qu’un agent parvient plus souvent à mener à terme des tâches complètes dans un environnement logiciel réel, ce qui implique une bonne coordination entre compréhension de l’écran, planification, manipulation d’interface et gestion de workflows multi-applications. La métrique retenue, le taux de réussite, rend la lecture directe, mais elle ne détaille pas toujours les causes d’échec ni la qualité des étapes intermédiaires.

La rigueur du benchmark tient à son évaluation fondée sur l’exécution de tâches interactives, dans des environnements de bureau et web couvrant Ubuntu, Windows et macOS. La principale prudence concerne la fiabilité des scores disponibles dans la base, majoritairement auto-déclarés par les éditeurs. Les résultats doivent donc être interprétés comme des indicateurs comparatifs plutôt que comme une mesure entièrement homogène. Le classement montre un écart important entre la médiane de l’ensemble et le meilleur résultat observé, Seed 2.1 Pro à 79%, ce qui suggère une forte différenciation des capacités agentiques. La portée reste limitée à des tâches en anglais et à l’ensemble défini par OSWorld, avec les risques habituels de saturation ou de contamination à mesure que le benchmark devient plus connu.

Sources des scores : llm-stats.