SWE-Bench verified

Epoch: SWE-Bench verified est un benchmark public issu d’OpenAI et de SWE-bench/Princeton NLP, centré sur la maintenance logicielle réelle. Il s’appuie sur des issues GitHub et demande à un modèle ou à un agent de comprendre le problème, de modifier un dépôt de code et de produire un patch fonctionnel.

Ce benchmark sert à évaluer des capacités agentiques proches du travail de développement logiciel, au-delà de la simple génération de code isolé. Les performances sont jugées par la réussite des correctifs face aux tests, ce qui en fait un repère important pour comparer les modèles sur des tâches pratiques.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 32 modèles évalués, dont 27 de grands éditeurs. Score médian de l'ensemble : 74,0 %.

Notre analyse

Un score élevé sur Epoch: SWE-Bench verified indique qu’un modèle parvient souvent à transformer une issue réelle en modification de code validée par des tests unitaires. Le signal est plus robuste qu’une simple auto-évaluation, car la résolution est vérifiée par l’exécution de tests et les scores disponibles sont au moins partiellement mesurés par un tiers. Le classement de la base montre un niveau déjà élevé, avec un score médian de 74 % sur les modèles évalués et un meilleur résultat à 83 % pour Claude Opus 4.7. Cela suggère que les modèles les plus avancés sont désormais capables de traiter une part importante de tâches de correction réalistes. Les limites restent importantes : le jeu compte 500 instances, principalement en Python, avec des descriptions en anglais. Des risques de saturation ou de contamination peuvent aussi réduire le pouvoir discriminant du benchmark à mesure que les modèles progressent. Il mesure surtout la correction de bugs dans des dépôts existants, pas l’ensemble des compétences d’ingénierie logicielle.

Sources des scores : epoch.