CyberGym

CyberGym est un benchmark de cybersécurité conçu par UC Berkeley, avec Dawn Song et ses coauteurs, pour évaluer des agents IA sur des tâches liées à des vulnérabilités logicielles réelles. Il met l’accent sur la capacité à comprendre une description de faille, analyser du code et produire un PoC permettant de la reproduire.

Son rôle est de tester des compétences agentiques appliquées à la sécurité, au-delà de la simple réponse textuelle. Il sert ainsi à comparer des modèles sur leur aptitude à mener une analyse technique orientée exploitation dans un environnement contrôlé.

Carte d'identité

Classement des modèles (top 9)

Classement établi sur 9 modèles évalués, dont 5 de grands éditeurs. Score médian de l'ensemble : 73,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur CyberGym indique qu’un modèle parvient fréquemment à reproduire effectivement des vulnérabilités à partir des éléments fournis, ce qui signale une capacité opérationnelle en analyse de sécurité, en navigation dans le code et en génération de PoC. Le classement disponible dans la base montre un niveau déjà élevé, avec une médiane à 73 % et un meilleur résultat à 83 % pour Claude Mythos Preview, ce qui suggère un benchmark discriminant mais où les meilleurs systèmes se rapprochent d’une zone de performance élevée. L’interprétation doit rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs, donc moins robustes qu’une évaluation indépendante et entièrement reproductible. Les limites portent aussi sur la portée du test : CyberGym mesure la reproduction de vulnérabilités dans un cadre contrôlé, pas l’ensemble des pratiques de cybersécurité. Son accès public peut également accroître le risque de contamination des modèles entraînés ou ajustés après publication.

Sources des scores : llm-stats.