Graphwalks BFS >128k

Graphwalks BFS >128k est un benchmark d’OpenAI consacré au raisonnement relationnel sur graphe en très long contexte. Il évalue la capacité d’un modèle à exécuter des opérations de type breadth-first search sur des graphes synthétiques composés d’arêtes orientées, avec des contextes dépassant 128k tokens.

Ce test sert à isoler une compétence exigeante pour les modèles de langage : maintenir une représentation fiable d’une structure relationnelle étendue, retrouver des nœuds parents et produire l’ensemble attendu malgré la longueur du contexte.

Carte d'identité

Classement des modèles (top 8)

Classement établi sur 8 modèles évalués, dont 8 de grands éditeurs. Score médian de l'ensemble : 33,4 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Graphwalks BFS >128k indique une bonne capacité à combiner suivi de contexte très long, raisonnement sur graphe et restitution précise d’un ensemble de nœuds, la métrique F1 tenant compte à la fois de la précision et du rappel. Dans la base considérée, l’écart entre le score médian de 33% et le meilleur score, Claude Mythos Preview à 80%, suggère un benchmark encore discriminant plutôt qu’un test saturé. Le classement met donc surtout en évidence les modèles capables de conserver et d’exploiter des relations dispersées dans de très longs contextes.

La lecture des résultats doit rester prudente : les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec des mesures entièrement reproduites de façon indépendante. La portée du benchmark est également ciblée : il porte sur des graphes synthétiques en anglais et sur des tâches BFS ou de recherche de parents, sans couvrir l’ensemble du raisonnement long contexte. Comme le benchmark est public, un risque de contamination des données d’évaluation ne peut pas être exclu.

Sources des scores : llm-stats.