SciCode

SciCode est un benchmark de codage scientifique conçu par SciCode-bench, une collaboration académique multi-institutions. Il évalue la capacité des modèles de langage à produire du code pour résoudre des problèmes de recherche en sciences naturelles, à partir d’énoncés décomposés en sous-problèmes.

Le benchmark cible des compétences combinées de rappel de connaissances, de raisonnement et de synthèse de code. Son rôle est d’apprécier dans quelle mesure un modèle peut transformer une compréhension scientifique en solutions exécutables, au-delà de simples tâches de programmation générales.

Carte d'identité

Classement des modèles (top 18)

Classement établi sur 18 modèles évalués, dont 6 de grands éditeurs. Score médian de l'ensemble : 43,3 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur SciCode indique qu’un modèle parvient à générer du code qui passe des cas de test sur des problèmes scientifiques structurés, aussi bien au niveau des sous-problèmes que des problèmes principaux. Cela suggère une maîtrise conjointe du raisonnement, de connaissances spécialisées et de l’implémentation. L’évaluation repose sur des cas de test, ce qui apporte un critère mesurable, mais la fiabilité du classement doit être nuancée puisque les scores disponibles sont majoritairement auto-déclarés par les éditeurs. La portée du benchmark reste centrée sur des problèmes en anglais et sur 16 sous-domaines des sciences naturelles, sans couvrir l’ensemble des pratiques de recherche ni tous les contextes logiciels. La contamination éventuelle des données ne peut pas être exclue à partir des informations fournies. Dans la base considérée, le score médian de 43% et le meilleur résultat, Seed 2.1 Pro à 60%, montrent une marge de progression importante, plutôt qu’une saturation du benchmark.

Sources des scores : llm-stats.