BrowseComp

BrowseComp est un benchmark créé par OpenAI pour évaluer des agents IA confrontés à des questions ouvertes nécessitant une recherche web active. Il cible des informations difficiles à trouver, souvent dispersées entre plusieurs sources, avec des réponses attendues courtes et vérifiables.

Son intérêt est de mesurer autre chose qu’une simple restitution de connaissances: la persistance dans la collecte d’informations, la capacité à naviguer de façon créative sur le web et l’aptitude à produire une réponse concise. Il sert ainsi à comparer des modèles dans des tâches proches d’une enquête en ligne.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 20)

Classement établi sur 51 modèles évalués, dont 29 de grands éditeurs. Score médian de l'ensemble : 62,0 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur BrowseComp indique qu’un agent parvient plus souvent à retrouver une information enfouie sur le web et à la formuler sous une réponse courte conforme à la référence. La métrique d’accuracy rend la lecture des résultats directe, mais la fiabilité doit être interprétée avec prudence, car les scores de la base sont majoritairement auto-déclarés par les éditeurs plutôt que mesurés de manière indépendante. Le classement montre un écart net entre la médiane de l’ensemble, à 62 %, et le meilleur résultat recensé, GPT-5.5 Pro (OpenAI) à 90 %, ce qui suggère une différenciation importante entre agents sur la recherche web persistante. Les limites tiennent à la portée du benchmark, centré sur l’anglais et les réponses courtes, ainsi qu’aux risques habituels de saturation ou de contamination lorsque des jeux publics deviennent connus. BrowseComp renseigne donc surtout la robustesse en navigation web agentique, sans couvrir à lui seul l’ensemble des capacités d’un modèle.

Sources des scores : llm-stats.