Terminal-Bench

Terminal-Bench est un benchmark conçu pour tester des agents d’IA dans de véritables environnements de terminal. Créé par Stanford University, Laude Institute et la communauté Terminal-Bench, il se concentre sur des tâches end-to-end en ligne de commande, exécutées dans des environnements Docker isolés.

Son intérêt est d’évaluer la capacité d’un modèle à agir de façon autonome sur des problèmes proches d’un usage réel : compiler du code, entraîner des modèles, configurer des serveurs, administrer un système ou déboguer. Il sert ainsi de repère pour mesurer des compétences opérationnelles au-delà de la simple génération de texte.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 25 modèles évalués, dont 13 de grands éditeurs. Score médian de l'ensemble : 35,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Terminal-Bench indique qu’un agent parvient à mener à terme des tâches terminal complètes, avec une validation binaire par scripts de test propres à chaque tâche. Cette approche apporte une mesure concrète de réussite ou d’échec, plus proche d’un environnement de travail logiciel que de questionnaires statiques. Le classement montre toutefois un niveau encore modéré : dans la base considérée, le meilleur modèle, Claude Sonnet 4.5, atteint 50 %, tandis que le score médian est de 36 %, ce qui suggère que ces tâches restent difficiles et que le benchmark n’apparaît pas saturé à ce stade. La lecture des résultats doit rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs, ce qui réduit l’homogénéité de l’évaluation. Les limites tiennent aussi à la taille du jeu Terminal-Bench-Core v0.1.x, à son périmètre centré sur l’anglais et Linux/CLI, ainsi qu’au risque de contamination associé à un accès public.

Sources des scores : llm-stats.