t2-bench

t2-bench est un benchmark consacré aux agents conversationnels capables d’utiliser des outils dans des tâches agentiques multi-étapes. Créé par Victor Barres et al. chez Sierra, il évalue la capacité d’un modèle à choisir, ordonner et exploiter des outils pour résoudre des scénarios complexes.

Sa spécificité tient à son environnement Tool-Agent-User à double contrôle, où l’agent et l’utilisateur simulé peuvent tous deux modifier l’état partagé. Le benchmark vise ainsi à mieux distinguer les erreurs de raisonnement des erreurs de communication dans l’usage conversationnel d’outils.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 23 modèles évalués, dont 21 de grands éditeurs. Score médian de l'ensemble : 79,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur t2-bench indique qu’un modèle parvient généralement à planifier, sélectionner les bons outils, exécuter les actions attendues et maintenir la cohérence d’un état partagé avec un utilisateur simulé. La métrique pass^k repose sur une vérification par récompense et actions, ce qui ancre l’évaluation dans l’exécution plutôt que dans une simple réponse textuelle. La lecture du classement doit toutefois rester prudente, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. Avec un score médian de 80 % et un meilleur résultat à 99 % pour Gemini 3.1 Pro Preview, le leaderboard montre une forte performance des meilleurs systèmes, mais suggère aussi un risque de saturation partielle si l’écart utile entre modèles se réduit. Le caractère public du benchmark peut également accroître le risque de contamination. Sa portée reste ciblée : anglais uniquement, tâches conversationnelles d’usage d’outils, et environnement à double contrôle, sans couvrir toute l’autonomie agentique possible.

Sources des scores : llm-stats.