BFCL-v3

BFCL-v3, pour Berkeley Function Calling Leaderboard v3, est un benchmark public conçu par la Gorilla LLM team de l’UC Berkeley. Il évalue la capacité des grands modèles de langage à utiliser des fonctions dans des interactions complexes, multi-tours et multi-étapes, au-delà d’un simple appel isolé.

Le test cible des comportements proches d’agents logiciels: conserver le contexte conversationnel, décider quand et comment appeler des fonctions, enchaîner ou imbriquer des appels, puis produire un résultat cohérent avec l’état du système. Il sert ainsi à comparer les modèles sur une compétence centrale pour l’automatisation outillée.

Carte d'identité

Classement des modèles (top 19)

Classement établi sur 19 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 70,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur BFCL-v3 indique qu’un modèle gère correctement des demandes où plusieurs décisions d’appel de fonctions doivent être prises au fil d’un dialogue. L’évaluation combine une vérification AST et une évaluation fondée sur l’état du système, ce qui renforce la rigueur par rapport à une simple comparaison textuelle: le benchmark vérifie à la fois la forme des appels et leurs effets attendus. La lecture du classement doit toutefois rester prudente, car les scores disponibles sont majoritairement auto-déclarés par les éditeurs. La portée reste aussi spécialisée: BFCL-v3 mesure surtout le function calling agentique en anglais, avec code et JSON, dans des scénarios tels que contrôle de véhicule, trading bots, réservation de voyage ou gestion de fichiers. Le classement de la base, avec 19 modèles évalués, montre un niveau médian déjà élevé et un écart modéré jusqu’au meilleur score observé, GLM-4.5 à 78%, ce qui suggère une compétition serrée mais pas nécessairement une maîtrise complète de ces interactions complexes.

Sources des scores : llm-stats.