HumanEval

HumanEval est un benchmark créé par OpenAI pour évaluer la génération de code à partir de descriptions en langage naturel. Il mesure la capacité d’un modèle à comprendre une docstring en anglais et à produire une fonction Python correcte, avec un accent sur la justesse fonctionnelle plutôt que sur le style du code.

Le test cible des tâches de programmation courtes qui mobilisent la compréhension du langage, le raisonnement algorithmique, la manipulation de chaînes ou de listes et des mathématiques simples. Il sert de repère standard pour comparer les modèles sur la synthèse de programmes exécutables.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 65 modèles évalués, dont 57 de grands éditeurs. Score médian de l'ensemble : 85,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur HumanEval indique qu’un modèle parvient souvent à transformer une spécification brève en code Python fonctionnel dès sa première réponse, selon la métrique pass@1. Dans la base suivie, les résultats sont déjà très élevés, avec un score médian de 86% sur 66 modèles évalués et un meilleur score de 95% pour MiniCPM-SALA (OpenBMB). Cette concentration en haut du classement suggère une forme de saturation, ce qui réduit la capacité du benchmark à distinguer finement les modèles les plus performants. La prudence reste nécessaire, car les scores sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière homogène par un tiers. Le caractère public du jeu peut aussi exposer l’évaluation à des risques de contamination des données d’entraînement. Enfin, la portée du test reste ciblée : HumanEval évalue surtout des problèmes courts en Python issus de docstrings, et ne couvre pas à lui seul la maintenance logicielle, les grands projets ou le débogage complexe.

Sources des scores : llm-stats.