Instruction Following (Baseline)

Benchable : Instruction Following (Baseline) est un benchmark public créé par Benchable pour évaluer la capacité des modèles à suivre précisément des consignes. Il couvre des tâches en anglais dont la difficulté augmente progressivement, depuis des directives simples jusqu’à des instructions conditionnelles à plusieurs niveaux.

Le test cible des compétences pratiques essentielles pour les assistants IA : respect du format attendu, ordre du contenu, calculs et logique conditionnelle. Il sert ainsi de repère de base pour comparer la discipline d’exécution des modèles face à des consignes explicites et vérifiables.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 253 modèles évalués, dont 150 de grands éditeurs. Score médian de l'ensemble : 63,0 %.

Notre analyse

Un score élevé sur Benchable : Instruction Following (Baseline) indique une forte conformité au texte attendu, puisque la notation repose sur une correspondance exacte de l’ensemble de la réponse. Cette exigence rend le benchmark strict : une erreur de format, d’ordre ou de condition peut suffire à faire échouer une étape, même si l’intention générale est correcte. Les scores de la base bénéficient d’une fiabilité renforcée, car ils sont au moins partiellement mesurés par un tiers plutôt que seulement auto-déclarés.

• Le classement montre une dispersion utile entre modèles, avec une médiane de 63 % sur 253 modèles évalués, tandis que DeepSeek R1 Distill Llama 70B atteint 100 %.
• La présence d’un score parfait signale aussi un risque de saturation en tête de classement : le test peut moins distinguer les meilleurs systèmes si plusieurs modèles atteignent ce niveau.
• La portée reste ciblée : le benchmark mesure le suivi d’instructions en anglais, pas la vérité factuelle générale, la créativité ou le raisonnement ouvert. Comme pour tout benchmark public, une contamination éventuelle des données d’entraînement ne peut pas être exclue sans audit spécifique.

Sources des scores : benchable.