ComplexFuncBench

ComplexFuncBench est un benchmark consacré à l’appel de fonctions complexe par les grands modèles de langage. Créé par Zhipu AI et l’Université Tsinghua (THUDM), il cible des situations où un modèle doit enchaîner plusieurs étapes de décision dans un seul tour, tout en respectant des contraintes explicites.

Le test évalue notamment le raisonnement sur les valeurs de paramètres, le remplissage de paramètres longs et la gestion de contextes pouvant atteindre 128k tokens. Il sert à mesurer la capacité pratique des modèles à orchestrer des appels d’outils dans des scénarios réalistes et contraints.

Carte d'identité

Classement des modèles (top 7)

Classement établi sur 7 modèles évalués, dont 7 de grands éditeurs. Score médian de l'ensemble : 63,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur ComplexFuncBench indique qu’un modèle parvient plus souvent à produire des appels de fonctions corrects dans des tâches multi-étapes, avec des paramètres longs et des contraintes utilisateur à respecter. La métrique Call Accuracy, ou Success Rate, via ComplexEval, met l’accent sur la réussite opérationnelle plutôt que sur une simple compréhension textuelle. La lecture des résultats doit toutefois rester prudente, car les scores recensés sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec une évaluation entièrement indépendante. Les limites habituelles s’appliquent aussi : risque de contamination si les exemples ont circulé, portée centrée sur l’anglais et sur l’appel de fonctions, et possible saturation si les modèles progressent au-delà du niveau actuel du jeu. Dans la base suivie, GPT-4o atteint 66 %, tandis que le score médian est de 63 % sur sept modèles, ce qui suggère un classement encore resserré en tête plutôt qu’une domination très nette.

Sources des scores : llm-stats.