HumanEval+

HumanEval+ est un benchmark de génération de code Python conçu pour évaluer la correction fonctionnelle des programmes produits par des modèles d’IA. Créé par Jiawei Liu, Chunqiu Steven Xia, Yuyao Wang, Lingming Zhang et l’équipe EvalPlus, il prolonge HumanEval avec une suite de tests unitaires nettement plus dense.

Son objectif est de repérer des solutions qui paraissent correctes sur les tests originaux, mais échouent sur des cas supplémentaires. Il sert ainsi de référence plus stricte pour comparer la capacité des modèles à synthétiser du code robuste, au-delà d’une simple conformité superficielle aux exemples fournis.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 10)

Classement établi sur 10 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 80,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur HumanEval+ indique qu’un modèle produit, dès sa première tentative, du code Python qui passe une batterie de tests fonctionnels étendue. Cette exigence renforce la valeur du signal par rapport à HumanEval, car des erreurs auparavant invisibles peuvent être détectées. Le classement disponible dans la base montre un niveau global déjà élevé, avec une médiane à 81 % sur 10 modèles évalués, et un meilleur score attribué à Phi 4 Reasoning (Microsoft) à 93 %. Cette concentration de résultats suggère aussi un risque de saturation progressive, où les écarts deviennent moins discriminants entre modèles performants.

L’interprétation doit rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite leur comparabilité avec des mesures indépendantes et strictement reproductibles. HumanEval+ reste centré sur des problèmes courts de programmation Python, en anglais, et ne couvre pas l’ensemble des tâches de développement logiciel. Comme tout benchmark connu et public, il peut aussi être exposé à des risques de contamination des données d’entraînement.

Sources des scores : llm-stats.