TAU-bench Airline

TAU-bench Airline est un benchmark de Sierra Research consacré à l’évaluation d’agents conversationnels dans un domaine de compagnie aérienne. Il fait partie de τ-bench, une suite centrée sur les interactions entre outil, agent et utilisateur dans des scénarios proches de cas métier réels.

Le test mesure la capacité d’un modèle à mener des dialogues dynamiques multi-tours, à utiliser des API via function calling, à respecter des règles métier et à communiquer correctement avec l’utilisateur. Il sert à apprécier la fiabilité opérationnelle des agents, au-delà de la simple réponse textuelle.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 22 modèles évalués, dont 19 de grands éditeurs. Score médian de l'ensemble : 49,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur TAU-bench Airline indique qu’un agent parvient plus souvent à atteindre l’état final attendu de la base après plusieurs échanges, tout en appliquant les politiques du domaine et en mobilisant les outils disponibles. La métrique pass^k met l’accent sur la fiabilité sur plusieurs essais, ce qui est particulièrement pertinent pour des agents destinés à exécuter des tâches plutôt qu’à seulement produire une réponse.

• Rigueur : l’évaluation repose sur une comparaison de l’état final avec un objectif annoté, mais les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs, ce qui limite leur comparabilité indépendante.
• Limites : le périmètre reste celui de tâches en anglais dans le domaine airline, avec un jeu de taille limitée. Comme pour tout benchmark public, la saturation progressive et la contamination potentielle doivent être surveillées.
• Classement : l’écart entre le score médian de l’ensemble et le meilleur résultat, obtenu par Claude Sonnet 4.5, suggère que la robustesse des agents outillés reste différenciante.

Sources des scores : llm-stats.