Hallucinations (Baseline)

Benchable : Hallucinations (Baseline) est un benchmark public créé par Benchable pour évaluer la capacité d’un modèle à reconnaître l’incertitude face à des informations entièrement fictives. Il s’intéresse à l’humilité épistémique, c’est-à-dire à la résistance à produire une réponse plausible mais infondée lorsqu’un concept, un événement ou une entité n’existe pas.

Le test repose sur des questions à choix multiples en anglais, où la réponse attendue est systématiquement « Je ne sais pas ». Il sert ainsi de contrôle simple et ciblé pour mesurer la tendance d’un modèle à halluciner dans un cadre volontairement piégé.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 230 modèles évalués, dont 138 de grands éditeurs. Score médian de l'ensemble : 96,0 %.

Notre analyse

Un score élevé sur Benchable : Hallucinations (Baseline) indique qu’un modèle sait s’abstenir lorsqu’il est confronté à des informations inventées, plutôt que de sélectionner une option incorrecte. L’exactitude se lit ici directement comme un taux de non-hallucination, avec 100 % correspondant à des réponses systématiquement alignées sur « Je ne sais pas ». Les scores disposent d’une fiabilité renforcée par le fait qu’ils sont au moins partiellement mesurés par un tiers, ce qui limite la dépendance aux seules déclarations des fournisseurs. Le classement montre toutefois une forte saturation, avec une médiane de 96 % et un meilleur score à 100 % pour AionLabs: Aion-2.0 (aion-labs), ce qui réduit la capacité du test à départager finement les modèles les plus performants. Sa portée reste également étroite : 50 questions, uniquement en anglais, dans un format QCM très spécifique. Une éventuelle contamination ne peut pas être exclue à partir des seules informations disponibles.

Sources des scores : benchable.