SWE-Bench Pro

SWE-Bench Pro est un benchmark d’évaluation des agents IA appliqué au génie logiciel réel. Créé par Xiang Deng et al. chez Scale AI, il prolonge SWE-Bench avec des tâches plus complexes, orientées vers la résolution d’issues et la production de patches répartis sur plusieurs fichiers.

Le benchmark mesure la capacité d’un modèle à raisonner sur un horizon long, à comprendre une base de code et à enchaîner plusieurs étapes de modification. Il sert ainsi de repère pour comparer les modèles sur des tâches proches du travail logiciel opérationnel.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 34 modèles évalués, dont 22 de grands éditeurs. Score médian de l'ensemble : 56,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur SWE-Bench Pro indique qu’un agent parvient à résoudre davantage de tâches de génie logiciel en une seule tentative, avec des modifications substantielles et cohérentes dans le code. Le meilleur résultat recensé, Claude Fable 5 à 80 %, se détache d’un ensemble dont le score médian atteint 56 %, ce qui suggère un écart notable entre les modèles les plus performants et le niveau central du classement. L’évaluation reste toutefois à lire avec prudence, car les scores sont majoritairement auto-déclarés par les éditeurs, même si le jeu de test privé et les réponses non divulguées renforcent la rigueur du protocole. Les limites tiennent aussi à la portée du benchmark, centré sur des tâches en anglais avec code et sur un ensemble défini de dépôts. Le niveau du meilleur score laisse encore une marge de progression, sans signe évident de saturation complète.

Sources des scores : llm-stats.