TruthfulQA

TruthfulQA est un benchmark conçu pour évaluer la véracité des réponses produites par les modèles de langage. Créé par Stephanie Lin, Jacob Hilton et Owain Evans, il cible des questions susceptibles de déclencher des réponses fausses, notamment lorsqu’elles reposent sur des idées reçues, des croyances erronées ou des formulations trompeuses.

Son rôle est de tester la capacité d’un modèle à résister à la reproduction d’erreurs présentes dans les textes humains. Il occupe ainsi une place utile dans l’évaluation des modèles, en complément des tests de connaissances ou de raisonnement.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 18)

Classement établi sur 18 modèles évalués, dont 11 de grands éditeurs. Score médian de l'ensemble : 58,2 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur TruthfulQA indique qu’un modèle répond plus souvent de manière à la fois véridique et informative à des questions ouvertes conçues pour provoquer des erreurs. Dans la base, le score médian atteint 58 %, tandis que MAI-Thinking-1 de Microsoft obtient le meilleur résultat avec 88 %, ce qui suggère un écart important entre les systèmes évalués. L’interprétation doit toutefois rester prudente, car les scores sont majoritairement auto-déclarés par les éditeurs, ce qui limite la comparabilité avec des évaluations entièrement mesurées de façon indépendante. Le benchmark présente aussi des limites classiques : une saturation progressive peut réduire son pouvoir discriminant, une contamination des données d’entraînement peut favoriser certains modèles, et sa portée reste liée à des questions en anglais, même si les catégories couvrent des domaines sensibles comme la santé, le droit, la finance et la politique. Le classement révèle surtout la capacité relative des modèles à éviter des réponses plausibles mais fausses.

Sources des scores : llm-stats.