LiveCodeBench

LiveCodeBench est un benchmark d’évaluation des modèles de langage pour le code, publié en 2024 par Naman Jain et al. Il vise à mesurer la capacité des modèles à résoudre des problèmes de programmation récents, avec un accent sur la génération de code correct, la réparation, le raisonnement sur l’exécution et la prédiction de sorties de tests.

Son intérêt principal tient à sa conception évolutive et à son objectif de limiter la contamination des données. Les problèmes proviennent de concours de programmation et sont datés, afin d’évaluer les modèles sur des tâches apparues après leur période d’entraînement supposée.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 72 modèles évalués, dont 62 de grands éditeurs. Score médian de l'ensemble : 55,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur LiveCodeBench indique une forte capacité à traiter des problèmes de programmation compétitive récents, en particulier lorsque le modèle doit produire une solution correcte dès le premier essai ou répondre précisément à une tâche d’exécution. Le benchmark couvre plusieurs scénarios, ce qui donne une lecture plus large que la seule génération de code. Dans la base considérée, le classement distingue nettement les modèles les plus performants, avec DeepSeek-V4-Pro-Max en tête, tandis que le score médian signale un niveau global encore contrasté.

La lecture des résultats doit toutefois rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite leur comparabilité avec des évaluations entièrement indépendantes. LiveCodeBench réduit le risque de contamination grâce à l’ajout continu de problèmes datés, mais ne l’annule pas nécessairement pour tous les modèles et toutes les périodes d’entraînement. Sa portée reste centrée sur des tâches de programmation compétitive en anglais, ce qui ne couvre pas toute l’ingénierie logicielle réelle.

Sources des scores : llm-stats.