FrontierSWE

FrontierSWE est un benchmark de Proximal, aussi connu sous le nom Proximal-Labs, conçu pour évaluer des agents d’IA sur des projets techniques ouverts de très longue durée. Il cible des tâches d’ingénierie qui dépassent les simples exercices de programmation, avec des travaux pouvant mobiliser optimisation système, construction de code à grande échelle et recherche appliquée en ML.

Son rôle est de mesurer la capacité d’un modèle à conduire une réalisation technique complexe dans la durée, avec un résultat évalué par tâche. FrontierSWE sert ainsi d’indicateur pour comparer des agents sur des scénarios proches de projets réels, où la planification, l’exécution et la robustesse comptent autant que la génération de code.

Carte d'identité

Classement des modèles (top 13)

Classement établi sur 13 modèles évalués, dont 9 de grands éditeurs. Score médian de l'ensemble : 54,0 %.

Notre analyse

Un score élevé sur FrontierSWE indique qu’un agent parvient mieux que ses concurrents à mener à terme des tâches ouvertes, longues et techniquement exigeantes, avec une performance supérieure selon la métrique utilisée par tâche. Le meilleur résultat présent dans la base, Claude Fable 5 à 90 %, se distingue nettement d’un score médian de 54 % sur les modèles évalués, ce qui suggère un écart important entre les systèmes les plus performants et le reste du classement. L’interprétation doit toutefois rester prudente : les scores sont majoritairement auto-déclarés par les éditeurs, ce qui réduit la comparabilité par rapport à une évaluation entièrement indépendante. Le jeu de test privé et les réponses non divulguées limitent le risque de contamination, mais le petit nombre de tâches, non divulgué, peut rendre les résultats sensibles au choix des cas. FrontierSWE couvre surtout des tâches d’ingénierie en anglais, ultra-long-horizon, et ne résume donc pas à lui seul les capacités générales d’un modèle.

Sources des scores : llm-stats.