Natural2Code

Natural2Code est un benchmark de Google DeepMind consacré à la génération de code à partir d’énoncés en langage naturel. Il évalue la capacité d’un modèle à produire directement du code Python correct, dans un format proche de HumanEval, sur des tâches conçues pour refléter des demandes de programmation réalistes.

Son intérêt principal est de tester la performance pratique des modèles de langage sur des problèmes tenus à l’écart des données web publiques. Il sert ainsi de repère pour comparer la fiabilité des modèles lorsqu’une réponse de code unique est attendue.

Carte d'identité

Classement des modèles (top 8)

Classement établi sur 8 modèles évalués, dont 8 de grands éditeurs. Score médian de l'ensemble : 80,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Natural2Code indique qu’un modèle parvient souvent à générer une solution Python correcte dès la première tentative, selon la métrique pass@1. Le caractère privé du jeu de test et la non-divulgation des réponses renforcent la valeur du benchmark, car ils limitent les risques de mémorisation directe. Cette rigueur doit toutefois être nuancée: les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs, ce qui rend la comparabilité dépendante du respect des protocoles d’évaluation. Les limites portent aussi sur la portée du test, centré ici sur des énoncés en anglais et du code Python, ainsi que sur le fait que pass@1 ne mesure pas l’itération, le débogage assisté ou la maintenance du code. Avec une médiane déjà élevée et un meilleur score atteint par Gemini 2.0 Flash (Google), le classement suggère un benchmark exigeant mais potentiellement proche d’une zone de saturation pour les modèles les plus performants.

Sources des scores : llm-stats.