OJBench

OJBench est un benchmark de code de niveau compétition publié par BUPT et Moonshot AI. Il évalue la capacité des grands modèles de langage à raisonner sur des problèmes d’algorithmique avancée, dans un cadre proche de la programmation compétitive.

Le benchmark repose sur des tâches issues de compétitions comme NOI et ICPC, avec une validation par juge en ligne. Il sert ainsi à mesurer non seulement la génération de code, mais aussi la capacité à produire des solutions correctes, efficaces et acceptées en Python ou en C++.

Carte d'identité

Classement des modèles (top 9)

Classement établi sur 9 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 36,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur OJBench indique qu’un modèle parvient à résoudre une part importante de problèmes compétitifs avec du code accepté par un online judge. La mesure est donc plus stricte qu’une simple évaluation textuelle, car la solution doit passer des tests d’exécution. Le résultat reste toutefois à interpréter avec prudence, les scores disponibles dans la base étant majoritairement auto-déclarés par les éditeurs.

Le classement suggère un écart net entre les meilleurs systèmes et le niveau central de l’ensemble évalué : parmi les 9 modèles suivis, la médiane atteint 36 %, tandis que Kimi K2.6 arrive en tête avec 61 %. Cela montre que le benchmark conserve une difficulté significative. Ses limites tiennent à sa portée spécialisée, centrée sur l’algorithmique de compétition, ainsi qu’aux risques habituels de contamination des données publiques et à une possible saturation future si les modèles progressent fortement sur ce type de problèmes.

Sources des scores : llm-stats.