PinchBench : agentique (OpenClaw, 147 tâches)

PinchBench : agentique (OpenClaw, 147 tâches) est un benchmark public et open source créé par Kilo Code. Il évalue des modèles LLM dans un cadre d’agents de code OpenClaw, avec des tâches réelles impliquant l’usage d’outils, la planification, la recherche, la gestion de fichiers et l’exécution d’actions en plusieurs étapes.

Son intérêt est de mesurer la capacité d’un modèle à agir au-delà de la simple génération de texte. Le benchmark observe le taux de réussite, mais aussi la vitesse et le coût, avec une notation fondée sur des checks automatiques, un juge LLM ou une approche hybride.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 52 modèles évalués, dont 35 de grands éditeurs. Score médian de l'ensemble : 69,7 %.

Notre analyse

Un score élevé sur PinchBench indique qu’un modèle parvient fréquemment à mener à terme des tâches agentiques concrètes, notamment lorsqu’il faut sélectionner des outils, enchaîner plusieurs actions et composer avec des consignes ambiguës. Le meilleur score recensé dans la base, Qwen3.7 Max à 93 %, suggère une forte efficacité dans ce cadre, tandis que le score médian de 70 % montre que le benchmark reste discriminant pour une partie des modèles évalués.

La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, plutôt que seulement auto-déclarés. Certaines limites demeurent : le périmètre reste centré sur des agents de code OpenClaw et des tâches en anglais, ce qui ne couvre pas tous les usages agentiques. La taille exacte du jeu appelle aussi une lecture prudente, l’intitulé mentionnant 147 tâches alors que la page officielle indique 23 tâches en v1 et un objectif de 100 pour v2. Comme pour tout benchmark public, une exposition répétée peut aussi favoriser la contamination ou une saturation progressive du classement.

Sources des scores : pinchbench.