CodeForces

CodeForces est un benchmark de programmation compétitive fondé sur des problèmes issus de la plateforme Codeforces. Il évalue la capacité des modèles de langage à comprendre des énoncés algorithmiques exigeants, à concevoir une solution efficace et à produire du code exécutable.

Son intérêt tient à la combinaison entre raisonnement formel, choix d’algorithmes et validation par tests. Les tâches couvrent notamment la programmation dynamique, les graphes, les structures de données et les problèmes mathématiques, ce qui en fait un indicateur utile pour mesurer la génération de code algorithmique.

Carte d'identité

Classement des modèles (top 16)

Classement établi sur 16 modèles évalués, dont 16 de grands éditeurs. Score médian de l'ensemble : 79,5 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur CodeForces indique qu’un modèle parvient à transformer un énoncé de concours en programme correct, avec une complexité adaptée aux contraintes implicites du problème. La mesure peut reposer sur le taux de réussite aux tests ou sur un rating Elo, selon l’implémentation, ce qui impose de comparer les résultats avec prudence. La rigueur vient de l’évaluation par soumission et tests standardisés, mais la fiabilité globale reste limitée par le fait que les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs.

Le classement montre un niveau déjà élevé, avec une médiane à 80 % parmi les modèles recensés et un meilleur résultat à 100 % pour DeepSeek-V4-Flash-Max. Cette concentration suggère un risque de saturation sur certaines configurations. Les problèmes étant publics et issus de Codeforces, la contamination des données d’entraînement constitue aussi une limite importante. Enfin, CodeForces mesure surtout la résolution algorithmique de concours, pas la maintenance logicielle, l’intégration de projets ou le débogage en contexte réel.

Sources des scores : llm-stats.