Tau2 Airline

Tau2 Airline est un benchmark conçu par Sierra Research pour évaluer des agents conversationnels dans des scénarios de service client aérien. Il met en scène des dialogues multi-tours où l’agent et l’utilisateur disposent chacun d’un contrôle sur certains outils, ce qui impose une coordination explicite plutôt qu’une simple réponse textuelle.

Le benchmark mesure la capacité des modèles à utiliser des outils, respecter des règles, communiquer clairement et guider des actions utilisateur dans des tâches comme la réservation, la modification, l’annulation ou le remboursement de vols. Il sert ainsi à tester des compétences d’agenticité proches d’un environnement opérationnel.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 22 modèles évalués, dont 15 de grands éditeurs. Score médian de l'ensemble : 59,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Tau2 Airline indique qu’un modèle parvient fréquemment à mener à bien des tâches complexes en plusieurs tours, avec appels d’outils et coordination avec l’utilisateur. La métrique pass^k reflète la proportion de tâches réussies sur plusieurs essais, ce qui valorise la robustesse procédurale autant que la qualité linguistique. Dans la base, le meilleur résultat atteint 76% avec LongCat-Flash-Thinking-2601, tandis que la médiane des 22 modèles évalués est de 59%, ce qui suggère un benchmark encore discriminant et non saturé.

La lecture du classement doit toutefois rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, donc moins homogènes qu’une évaluation entièrement reproduite dans un cadre unique. Le jeu étant public et limité au domaine airline de τ²-bench, il existe aussi un risque classique de contamination ou d’optimisation spécifique. La portée reste centrée sur le service client aérien en anglais, ce qui éclaire surtout la performance d’agents outillés dans ce type de workflow, sans généraliser à tous les usages conversationnels.

Sources des scores : llm-stats.