Toolathlon

Toolathlon est un benchmark public conçu par HKUST-NLP, le groupe NLP de la Hong Kong University of Science and Technology. Il évalue des agents d’IA dans leur capacité à utiliser plusieurs outils au fil de tâches longues, réalistes et diversifiées, avec des scénarios couvrant plusieurs applications.

Le benchmark met l’accent sur la sélection d’outils, leur enchaînement et leur exécution, ainsi que sur le suivi des erreurs d’appel et la gestion d’un contexte long. Son rôle est de tester des modèles au-delà de la réponse textuelle classique, dans des situations proches d’un usage agentique.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 23 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 46,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Toolathlon indique qu’un modèle parvient plus souvent à mener à terme des tâches longues en choisissant les bons outils, en les appelant dans un ordre pertinent et en exploitant correctement les résultats intermédiaires. La métrique fondée sur l’exécution renforce la rigueur de l’évaluation, car elle juge le succès concret d’une tâche plutôt qu’une simple similarité de réponse. La lecture du classement doit toutefois rester prudente, les scores étant majoritairement auto-déclarés par les éditeurs. Les principales limites tiennent à la portée du benchmark, centré sur l’anglais et l’usage d’outils, ainsi qu’au risque de contamination inhérent à un jeu public. Le niveau observé suggère aussi une marge de progression importante : dans la base, la médiane atteint 46 %, tandis que Claude Opus 4.8 arrive en tête à 60 %. Le classement met donc surtout en évidence la difficulté persistante des tâches agentiques longues, plus qu’une saturation du benchmark.

Sources des scores : llm-stats.