TAU-bench Retail

TAU-bench Retail est un benchmark conçu par Sierra pour évaluer des agents conversationnels dans des environnements de vente au détail. Il met en scène des échanges multi-tours avec un utilisateur simulé, où le modèle doit comprendre la demande, dialoguer de manière cohérente et mobiliser des outils métier adaptés.

Le test mesure surtout la capacité d’un agent à combiner conversation, appels d’API et respect de politiques opérationnelles. Il sert ainsi à apprécier des compétences proches d’un déploiement en support client, au-delà de la simple génération de texte.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 24 modèles évalués, dont 21 de grands éditeurs. Score médian de l'ensemble : 68,8 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur TAU-bench Retail indique qu’un modèle parvient fréquemment à mener une tâche agentique jusqu’à son issue correcte, en tenant compte du contexte conversationnel, des contraintes de politique interne et des réponses d’outils. Le classement met en avant des modèles capables de gérer des situations pratiques comme les annulations de commande, les changements d’adresse ou les vérifications de statut, avec Claude Sonnet 4.5 en tête dans la base.

La lecture des résultats doit rester prudente. La métrique de success rate est lisible et directement liée à l’exécution de tâches, mais les scores disponibles sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité indépendante. Le domaine couvert reste celui du retail en anglais, avec un jeu d’environ 115 tâches, donc la portée ne résume pas l’ensemble des usages agentiques. Comme pour tout benchmark public, une saturation progressive ou une contamination des jeux d’évaluation peut aussi réduire la valeur discriminante avec le temps.

Sources des scores : llm-stats.