Coding (Baseline)

Benchable : Coding (Baseline) est un benchmark public créé par Benchable pour évaluer les connaissances en programmation des modèles d’IA. Il prend la forme de questions à choix multiples et couvre un spectre large, allant de la syntaxe de base aux algorithmes, structures de données, bases de données, réseaux, concurrence et design patterns.

Son rôle est de fournir un repère simple et standardisé sur la maîtrise théorique du code. Les énoncés en anglais mobilisent plusieurs langages, ce qui permet d’observer la robustesse générale d’un modèle face à des concepts de programmation variés.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 249 modèles évalués, dont 146 de grands éditeurs. Score médian de l'ensemble : 89,0 %.

Notre analyse

Un score élevé sur Benchable : Coding (Baseline) indique une bonne capacité à identifier la bonne réponse dans des QCM de programmation, avec une validation stricte par correspondance exacte de la lettre attendue. La fiabilité est renforcée par le fait que les scores disponibles sont au moins partiellement mesurés par un tiers, et ne reposent donc pas uniquement sur des déclarations des fournisseurs. Le classement montre toutefois une forte performance globale, avec un score médian de 89 % sur les 249 modèles évalués et un meilleur résultat à 100 % pour Qwen3 VL 32B Instruct. Cette concentration de scores élevés suggère un risque de saturation, qui limite la capacité du benchmark à départager les meilleurs modèles. Comme tout jeu public de petite taille, il peut aussi être exposé à des effets de contamination. Sa portée reste centrée sur des connaissances de programmation en QCM, et ne mesure pas directement la production, le débogage ou la maintenance de code dans des environnements réels.

Sources des scores : benchable.