Terminal-Bench 2.0

Terminal-Bench 2.0 est un benchmark public consacré aux agents d’IA capables d’opérer un ordinateur via une interface terminal. Créé par le Laude Institute et Stanford University, avec l’équipe Terminal-Bench, il met l’accent sur des tâches réalistes menées de bout en bout en ligne de commande.

Le benchmark mesure l’autonomie pratique des modèles face à des environnements de code dockerisés, avec des scénarios comme la compilation, la configuration de serveurs, l’entraînement de modèles ou l’usage d’outils. Il sert ainsi à évaluer une dimension opérationnelle des agents, au-delà de la réponse textuelle classique.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 48 modèles évalués, dont 36 de grands éditeurs. Score médian de l'ensemble : 57,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Terminal-Bench 2.0 indique qu’un modèle parvient plus souvent à mener à terme des tâches terminal complexes, avec une validation par tests pytest. La métrique favorise donc les systèmes capables de planifier, d’exécuter des commandes, de corriger des erreurs et de produire un état final vérifiable. Dans la base, le meilleur résultat observé est celui de GPT-5.5 (OpenAI), à 83 %, tandis que la médiane de l’ensemble atteint 57 %, ce qui suggère une différenciation encore nette entre modèles sur ce type d’usage agentique.

• Rigueur : l’évaluation repose sur des tests automatisés, mais les scores disponibles sont majoritairement auto-déclarés par les éditeurs, ce qui impose une lecture prudente du classement.
• Limites : le benchmark couvre surtout des tâches en terminal et des environnements de code dockerisés. Il ne résume donc pas toutes les capacités d’un modèle, notamment hors ligne de commande.
• Interprétation : comme pour tout benchmark public, la progression des scores peut refléter à la fois de meilleures capacités d’agent et une adaptation croissante aux formats testés.

Sources des scores : llm-stats.