Claw-Eval

Claw-Eval est un benchmark consacré à l’évaluation d’agents autonomes dans des tâches agentiques end-to-end, complexes et multi-étapes. Créé par Bowen Ye et al., de l’Université de Pékin et de l’Université de Hong Kong, il vise à mesurer la capacité d’un modèle à utiliser des outils, naviguer dans des environnements et mener une tâche à son terme.

Le benchmark se distingue par une notation auditable fondée sur la trajectoire d’exécution. Il examine trois dimensions complémentaires, la complétion, la sécurité et la robustesse, afin de fournir une lecture plus opérationnelle des performances que les tests centrés sur des réponses isolées.

Carte d'identité

Classement des modèles (top 12)

Classement établi sur 12 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 62,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Claw-Eval indique qu’un modèle parvient plus souvent à accomplir des tâches longues et structurées, tout en conservant un comportement sûr et robuste au fil de l’exécution. La prise en compte de la trajectoire rend l’évaluation particulièrement pertinente pour les agents, car elle ne juge pas seulement le résultat final, mais aussi le déroulement des actions qui y conduisent. La rigueur du benchmark repose sur des tâches vérifiées par des humains et une rubrique détaillée, mais l’interprétation du classement reste prudente, les scores recensés étant majoritairement auto-déclarés par les éditeurs. Le score médian de 63 % suggère une difficulté encore significative pour les modèles évalués, tandis que Kimi K2.6, à 81 %, se détache comme meilleur modèle dans la base. Les limites portent notamment sur la portée anglophone, le risque de contamination si les tâches deviennent largement connues, et une possible saturation future si les meilleurs agents convergent vers des scores élevés.

Sources des scores : llm-stats.