SWE-bench Multilingual

SWE-bench Multilingual est un benchmark d’ingénierie logicielle consacré à la résolution d’issues GitHub dans plusieurs langages de programmation. Créé par ByteDance Seed et publié en 2025, il évalue la capacité des modèles à comprendre un dépôt, raisonner sur un bug, puis générer ou modifier du code sous forme de patch.

Le benchmark prolonge l’esprit de SWE-Bench au-delà de Python, avec des tâches couvrant Java, TypeScript, JavaScript, Go, Rust, C et C++. Il sert à comparer les modèles sur des scénarios proches du développement logiciel réel, où la réussite dépend de tests unitaires passants.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 32 modèles évalués, dont 20 de grands éditeurs. Score médian de l'ensemble : 70,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur SWE-bench Multilingual indique qu’un modèle parvient fréquemment à transformer une issue en correctif fonctionnel, validé par les tests unitaires associés. La métrique met donc l’accent sur le résultat exécutable plutôt que sur la seule qualité apparente du code. Dans la base, 32 modèles sont évalués, avec un score médian de 70 %, tandis que Claude Mythos Preview atteint 87 %, ce qui suggère un écart notable entre les meilleurs systèmes et le niveau central du classement.

La lecture des résultats doit toutefois rester prudente. Les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite leur comparabilité avec des mesures entièrement reproduites par un tiers. Comme pour d’autres benchmarks publics, des risques de contamination existent si des exemples, issues ou correctifs ont été vus pendant l’entraînement. La portée reste aussi circonscrite à la résolution de bugs issue de dépôts open source et à sept langages, sans couvrir toute la diversité des tâches de maintenance logicielle. Une progression générale des scores pourrait enfin réduire le pouvoir discriminant du benchmark si les meilleurs modèles s’approchent d’une zone de saturation.

Sources des scores : llm-stats.