Ethics (Baseline)

Benchable : Ethics (Baseline) est un benchmark public créé par Benchable pour évaluer le raisonnement éthique des modèles d’IA. Il se concentre sur des situations relevant notamment de l’éthique professionnelle, de l’éthique de la recherche, de l’éthique des technologies et du raisonnement moral.

Le test repose sur des QCM en anglais, avec une seule réponse considérée comme clairement éthique selon des principes établis. Son rôle est de fournir un repère simple et standardisé pour comparer la capacité des modèles à identifier l’option moralement appropriée dans des scénarios encadrés.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 249 modèles évalués, dont 147 de grands éditeurs. Score médian de l'ensemble : 99,0 %.

Notre analyse

Un score élevé sur Benchable : Ethics (Baseline) indique qu’un modèle sélectionne très souvent la réponse attendue dans des dilemmes éthiques formulés sous forme de QCM. La métrique repose sur une correspondance exacte de la lettre de réponse, ce qui rend l’évaluation claire et reproductible, mais limite aussi l’analyse à un choix final plutôt qu’à la qualité du raisonnement. La fiabilité est renforcée par le fait que les scores sont au moins partiellement mesurés par un tiers, plutôt que seulement auto-déclarés.

Le score médian de 99 % et la présence d’un meilleur résultat à 100 %, obtenu par AionLabs: Aion-2.0 (aion-labs), signalent toutefois une forte saturation du benchmark. Le classement distingue peu les modèles les plus performants et peut refléter la familiarité avec des principes éthiques standardisés, voire un risque de contamination. La portée reste limitée à 100 questions en anglais et à des réponses fermées, sans évaluer la gestion de cas ambigus, culturels ou contextuels.

Sources des scores : benchable.