LiveCodeBench v6

LiveCodeBench v6 est un benchmark d’évaluation des grands modèles de langage pour le code, conçu par l’équipe LiveCodeBench, avec des contributions de UC Berkeley, MIT, Cornell et Naman Jain et al. Il vise une mesure holistique et sans contamination des capacités liées à la programmation.

Le benchmark s’appuie sur des problèmes récents de concours de programmation et couvre plusieurs scénarios, dont la génération de code, l’auto-réparation, l’exécution de code et la prédiction de sortie de tests. Son rôle est d’estimer la capacité des modèles à résoudre des tâches de code sur des exercices publiés après leur période d’entraînement.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 53 modèles évalués, dont 36 de grands éditeurs. Score médian de l'ensemble : 71,7 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur LiveCodeBench v6 indique une forte capacité à produire du code correct dès la première tentative, avec pass@1 comme métrique principale et pass@5 comme complément. Le classement de la base montre un niveau global déjà élevé, avec un score médian de 72% sur 53 modèles évalués, tandis que Qwen3.7 Max atteint 92%. Cet écart suggère que le benchmark reste discriminant, même si les meilleurs résultats se rapprochent d’une zone de saturation possible pour la génération de code compétitif en Python.

• La rigueur tient à la collecte continue de problèmes récents et datés, issus de LeetCode, AtCoder et CodeForces, afin de limiter la contamination par les données d’entraînement.
• La fiabilité pratique du leaderboard reste à nuancer, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière uniforme par un tiers.
• La portée reste spécialisée : le benchmark évalue surtout des problèmes de programmation compétitive en Python, pas l’ensemble du développement logiciel réel.

Sources des scores : llm-stats.