DeepSearchQA

DeepSearchQA est un benchmark conçu par Google DeepMind, avec Elena Gribovskaya et ses coauteurs, pour évaluer les capacités de recherche profonde et de question-réponse des agents d’IA. Il cible des tâches de recherche multi-étapes, dans lesquelles un modèle doit enchaîner plusieurs raisonnements et récupérations d’information.

Son intérêt est de dépasser les tests de factualité à réponse unique. Le benchmark mesure la capacité à exécuter un plan de recherche complexe et à produire une liste de réponses exhaustive, ce qui en fait un outil utile pour comparer des modèles orientés recherche, synthèse et exploration de domaines de connaissance.

Carte d'identité

Classement des modèles (top 6)

Classement établi sur 6 modèles évalués, dont 3 de grands éditeurs. Score médian de l'ensemble : 84,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur DeepSearchQA indique qu’un modèle parvient non seulement à trouver des éléments pertinents, mais aussi à constituer un ensemble de réponses complet, sans omission ni intrus, selon la métrique Fully Correct. Cette exigence rend l’évaluation plus stricte que des mesures partielles, car une réponse presque correcte reste pénalisée si l’ensemble final ne correspond pas exactement à la vérité terrain.

La lecture du classement doit toutefois rester prudente, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. Le niveau médian élevé, autour de 85 %, suggère que les meilleurs systèmes évalués maîtrisent déjà fortement ce format, tandis que Claude Opus 4.8 atteint le meilleur score recensé avec 93 %. Cette proximité peut signaler une possible saturation progressive du benchmark sur les modèles de pointe. Les limites portent aussi sur la portée du jeu, centré sur des tâches multi-hop à réponses exhaustives, et sur le risque général de contamination des données publiques. Le classement renseigne donc surtout sur la robustesse relative en recherche structurée, plutôt que sur une compétence universelle en raisonnement ou en expertise métier.

Sources des scores : llm-stats.