SWE-Bench Verified

SWE-Bench Verified est un benchmark consacré à la résolution d’issues logicielles réelles. Créé par OpenAI et l’équipe SWE-bench de Princeton NLP, il sert à évaluer la capacité des modèles à comprendre un problème décrit en anglais, à explorer une base de code Python et à produire un correctif fonctionnel.

Son intérêt tient à son ancrage dans des tâches proches du développement logiciel réel. Plutôt que de mesurer seulement la génération de code isolée, SWE-Bench Verified observe si un modèle peut modifier un projet existant de manière cohérente et faire passer les tests associés.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 100 modèles évalués, dont 71 de grands éditeurs. Score médian de l'ensemble : 71,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur SWE-Bench Verified indique qu’un modèle parvient souvent à transformer une issue GitHub en patch correct pour une base Python existante, avec une validation par les tests. La métrique correspond à un taux de résolution des issues, proche d’un pass@1, ce qui donne une lecture directe de l’efficacité en situation de correction logicielle.

La rigueur du benchmark repose sur un sous-ensemble vérifié de problèmes annotés humainement, mais l’interprétation du classement doit rester prudente : les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. Le niveau médian élevé, 71 %, suggère aussi un risque de saturation progressive pour les meilleurs systèmes. La nature publique des tâches et leur origine GitHub posent en outre une question de contamination possible des données d’entraînement. La portée reste ciblée : anglais, code Python et génération de correctifs. Dans ce cadre, le classement distingue surtout les modèles les plus robustes en ingénierie logicielle pratique, avec Claude Fable 5 en tête à 95 % parmi les modèles recensés.

Sources des scores : llm-stats.