Aider-Polyglot

Aider-Polyglot est un benchmark de programmation créé par Aider, le projet de Paul Gauthier, pour évaluer des modèles d’IA sur des exercices Exercism exigeants. Il se concentre sur la génération de code, l’édition de fichiers et la correction d’erreurs à partir de retours de tests unitaires.

Son intérêt est de rapprocher l’évaluation d’un flux de travail de développement réel : un modèle produit une solution, reçoit un retour d’échec si les tests ne passent pas, puis peut modifier son code. Le benchmark mesure ainsi la résolution initiale et la capacité d’itération.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 22 modèles évalués, dont 20 de grands éditeurs. Score médian de l'ensemble : 60,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Aider-Polyglot indique qu’un modèle parvient à résoudre une forte proportion d’exercices de programmation difficiles, tout en exploitant efficacement les retours de tests pour corriger son code. Le classement met en évidence les modèles les plus robustes dans un contexte multi-langages, avec GPT-5 en tête parmi les modèles suivis dans la base. La métrique est directe, puisqu’elle repose sur la réussite des tests, mais l’interprétation doit rester prudente : les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité indépendante. Le benchmark présente aussi des limites classiques : un jeu public peut être exposé à la contamination, et la sélection d’exercices Exercism ne couvre pas toute la diversité du développement logiciel, notamment les grands dépôts, les dépendances complexes ou la maintenance longue durée. La médiane élevée suggère enfin une possible saturation progressive pour les meilleurs modèles, même si les exercices retenus restent conçus pour être difficiles.

Sources des scores : llm-stats.