Tau2 Telecom

Tau2 Telecom est un benchmark de Sierra Research consacré à l’évaluation d’agents conversationnels capables d’utiliser des outils dans des situations de dépannage télécom. Il s’inscrit dans le domaine telecom de tau2-bench et repose sur des scénarios conversationnels multi-tours où l’agent et l’utilisateur peuvent agir sur un environnement partagé.

Le benchmark mesure surtout la coordination, la communication et l’exécution de tâches vérifiables dans un cadre dual-control modélisé comme un Dec-POMDP. Il sert à apprécier la capacité des modèles à gérer des interactions outillées, dynamiques et orientées résolution de problème.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 34 modèles évalués, dont 24 de grands éditeurs. Score médian de l'ensemble : 86,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Tau2 Telecom indique qu’un modèle parvient fréquemment à mener à bien des tâches de dépannage télécom en coordonnant ses actions avec celles de l’utilisateur, tout en exploitant les outils disponibles. La métrique de réussite des tâches, de type pass^k ou reward vérifiable, donne un signal plus opérationnel qu’une simple réponse textuelle, car elle évalue l’aboutissement du scénario. La lecture du classement doit toutefois rester prudente, les scores disponibles étant majoritairement auto-déclarés par les éditeurs. Le niveau médian élevé et le meilleur score proche du maximum suggèrent une possible saturation partielle, qui peut réduire la capacité du benchmark à distinguer les modèles les plus performants. Son accès public expose aussi à un risque de contamination des données d’évaluation. Enfin, la portée reste centrée sur des scénarios de dépannage télécom en anglais. Le classement révèle donc surtout la maturité des meilleurs agents outillés dans ce cadre précis, plutôt qu’une compétence générale tous domaines confondus.

Sources des scores : llm-stats.