Tau2 Retail

Tau2 Retail est un benchmark publié par Sierra Research pour évaluer des agents conversationnels dans des scénarios de service client e-commerce. Il s’inscrit dans le domaine retail de τ²-bench et met en scène des dialogues multi-tours où l’agent et l’utilisateur peuvent interagir avec des outils.

Le benchmark mesure la capacité des modèles à conduire une conversation utile, appeler les bons outils, respecter des règles métier et maintenir la cohérence de la tâche dans un environnement dual-control. Il sert ainsi à apprécier des compétences proches d’un usage opérationnel en support client.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 25 modèles évalués, dont 19 de grands éditeurs. Score médian de l'ensemble : 76,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Tau2 Retail indique qu’un modèle parvient, sur plusieurs essais, à mener des tâches retail jusqu’à un état final conforme au but annoté, tout en coordonnant dialogue, outils et contraintes métier. La métrique pass^k favorise les agents capables de réussir de façon répétée, pas seulement de produire une réponse plausible. Le classement disponible dans la base couvre 25 modèles, avec une médiane à 76% et un meilleur résultat de 92% pour Claude Opus 4.6 (Anthropic), ce qui suggère un écart encore visible entre les systèmes les plus performants et le reste du panel. L’interprétation doit toutefois rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs. Les limites tiennent aussi à la portée du domaine, centré sur le retail anglophone, à la taille réduite du jeu, environ 115 tâches, et aux risques classiques de saturation ou de contamination des benchmarks publics.

Sources des scores : llm-stats.