Agentic Coding

LiveBench: Agentic Coding est une catégorie du benchmark LiveBench consacrée au codage agentique. Créée par l’équipe LiveBench, associant Abacus.AI, New York University, NVIDIA, University of Maryland et University of Southern California, elle évalue des agents de développement autonomes capables d’intervenir sur plusieurs tours dans un environnement de développement.

Le benchmark vise à mesurer des compétences proches d’un usage logiciel interactif, au-delà de la simple génération de code isolée. Les tâches reposent sur une vérité-terrain objective et vérifiable, avec une notation automatique sans juge LLM.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 76 modèles évalués, dont 58 de grands éditeurs. Score médian de l'ensemble : 46,7 %.

Notre analyse

Un score élevé sur LiveBench: Agentic Coding indique qu’un modèle, utilisé comme agent de codage, parvient mieux à enchaîner des actions de développement sur plusieurs tours et à produire des résultats vérifiables dans l’environnement prévu. La métrique renforce la rigueur de l’évaluation, car elle repose sur un scoring automatique associé à une vérité-terrain objective, et non sur l’appréciation d’un autre modèle. Cette robustesse doit toutefois être nuancée par la fiabilité des scores disponibles dans la base, majoritairement auto-déclarés par les éditeurs.

Le classement suggère une marge de progression importante: le score médian de l’ensemble reste à 47 %, tandis que le meilleur modèle recensé, GLM-5.2 (Zhipu AI), atteint 73 %. Le benchmark ne paraît donc pas saturé dans cet échantillon. Ses limites tiennent à sa portée spécialisée, centrée sur le codage agentique en anglais, ainsi qu’au risque général de contamination lié à un accès public. Il éclaire surtout la performance en environnement de développement multi-tours, sans résumer l’ensemble des capacités d’un modèle.

Sources des scores : livebench.