IF

LiveBench: IF est la catégorie « instruction following » de LiveBench, un benchmark créé par Abacus.AI, NYU et NVIDIA autour des travaux de Colin White et al. Il évalue la capacité des modèles à respecter précisément des consignes, à partir de tâches durcies et sans contamination issues d’IFEval.

Le benchmark s’inscrit dans une évaluation automatisée et objective, fondée sur une vérité-terrain. Il sert à comparer les modèles sur un aspect central des assistants IA : exécuter fidèlement une demande formulée en langage naturel, au-delà de la simple génération fluide.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 76 modèles évalués, dont 58 de grands éditeurs. Score médian de l'ensemble : 57,5 %.

Notre analyse

Un score élevé sur LiveBench: IF indique qu’un modèle suit mieux des contraintes explicites dans des tâches comme la paraphrase, la simplification, le résumé ou la génération d’histoire. Le meilleur score observé, 79% pour Gemini 3.1 Pro Preview, face à une médiane de 57% sur les modèles évalués dans la base, suggère un écart notable entre les systèmes les plus performants et le niveau central du classement. La saturation paraît donc limitée.

La rigueur du test repose sur une notation automatique par accuracy, comparée à une vérité-terrain, et sur la conception contamination-free de LiveBench, avec des questions régulièrement actualisées. Cette approche réduit le risque de mémorisation, sans l’éliminer comme sujet d’attention général. La principale réserve concerne la fiabilité opérationnelle des résultats, majoritairement auto-déclarés par les éditeurs. La portée reste aussi ciblée : le benchmark mesure le suivi d’instructions en anglais, dans un sous-ensemble de LiveBench, et ne résume pas à lui seul les capacités générales d’un modèle.

Sources des scores : livebench.