MBPP

MBPP, pour Mostly Basic Python Problems, est un benchmark de Google Research conçu par J. Austin et al. pour évaluer la génération de code Python à partir d’énoncés en langage naturel. Il rassemble des problèmes courts, issus du crowdsourcing, pensés pour être résolus par des programmeurs débutants.

Le benchmark mesure la capacité d’un modèle à produire directement un programme Python correct, validé par des tests automatisés. Il sert ainsi de repère ciblé pour apprécier les bases de programmation, le raisonnement procédural et l’usage de la bibliothèque standard dans les modèles de langage.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 33 modèles évalués, dont 31 de grands éditeurs. Score médian de l'ensemble : 76,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur MBPP indique qu’un modèle sait transformer des consignes simples en code Python fonctionnel, avec une bonne maîtrise des structures de base et de certaines fonctions de la bibliothèque standard. La métrique pass@1 valorise la première réponse correcte, ce qui en fait un indicateur utile de fiabilité immédiate plutôt que de performance après plusieurs essais. Dans la base, le classement couvre 33 modèles, avec un score médian de 76% et un meilleur résultat de 93% pour Sarvam-30B (sarvamai), ce qui suggère un niveau déjà élevé sur ce type de tâches.

• La fiabilité doit être interprétée avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs.
• La portée reste limitée à de courts problèmes Python, principalement centrés sur des fondamentaux et la bibliothèque standard.
• La saturation possible du benchmark et le risque de contamination des données d’entraînement peuvent réduire son pouvoir discriminant entre modèles avancés.

Sources des scores : llm-stats.