FACTS Grounding

FACTS Grounding est un benchmark publié en 2024 par Google DeepMind et Google Research pour évaluer la capacité des modèles de langage à produire des réponses longues, exactes et strictement ancrées dans un contexte fourni.

Il cible un cas d’usage central des assistants IA : répondre à partir de documents volumineux sans halluciner ni mobiliser de connaissance externe. Le benchmark sert ainsi à mesurer la factualité opérationnelle des modèles lorsqu’ils doivent exploiter un contexte long et restituer une réponse détaillée.

Carte d'identité

Classement des modèles (top 13)

Classement établi sur 13 modèles évalués, dont 12 de grands éditeurs. Score médian de l'ensemble : 74,9 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur FACTS Grounding indique qu’un modèle parvient généralement à formuler des réponses longues cohérentes avec le document fourni, avec peu d’affirmations non étayées. L’évaluation repose sur un jugement automatique par ensemble de LLM juges, ce qui permet de traiter des réponses ouvertes, mais introduit une dépendance à la qualité et aux biais des juges. Les scores de la base étant majoritairement auto-déclarés par les éditeurs, leur comparabilité doit être interprétée avec prudence.

• Portée : le benchmark mesure l’ancrage factuel en anglais sur documents longs, pas le raisonnement général, le multilingue ni l’usage d’outils.
• Contamination : le split public sous licence CC-BY-4.0 peut être exposé aux modèles, tandis que le split privé limite partiellement ce risque.
• Classement : le meilleur score atteint 88 %, contre une médiane de 75 %, ce qui suggère encore une marge de progression. Toutefois, 12 des 13 modèles classés sont édités par Google, également co-développeur du benchmark, ce qui limite son indépendance pour comparer Google à d’autres éditeurs.

Sources des scores : llm-stats.