Creative Writing v3

Creative Writing v3 est un benchmark public d’EQ-Bench, créé par Samuel J. Paech, consacré à l’évaluation de l’écriture créative des modèles de langage. Il s’appuie sur des réponses à des prompts d’écriture, jugées par un LLM, afin d’examiner des dimensions comme l’humour, la romance, la conscience spatiale et la capacité à produire des perspectives originales.

Le benchmark vise surtout à discriminer les modèles situés en haut du classement, là où les écarts deviennent difficiles à observer avec des tests plus généraux. Il sert ainsi d’indicateur spécialisé pour comparer la créativité rédactionnelle et certaines formes d’intelligence émotionnelle en anglais.

Carte d'identité

Classement des modèles (top 12)

Classement établi sur 12 modèles évalués, dont 12 de grands éditeurs. Ce benchmark n'étant pas exprimé en pourcentage, la barre prend le score du premier comme référence (100 %). « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur Creative Writing v3 indique qu’un modèle produit des textes jugés plus convaincants dans des tâches créatives variées, avec une meilleure maîtrise du ton, de l’originalité, de la cohérence narrative et de situations demandant une représentation spatiale ou émotionnelle fine. L’évaluation combine une notation par rubrique et des comparaisons pairwise converties en Elo via Glicko-2, avec Claude Sonnet 4.6 comme juge, ce qui apporte une structure plus robuste qu’une simple note isolée. La fiabilité reste toutefois à interpréter avec prudence, car les scores disponibles dans la base sont majoritairement auto-déclarés par les éditeurs. La portée est aussi limitée à l’anglais et à 96 items issus de 32 prompts répétés sur trois itérations, ce qui ne couvre pas toute la diversité de l’écriture créative. Le score médian de 85 % et le meilleur résultat à 88 % suggèrent un classement assez resserré, utile pour départager les meilleurs modèles, mais potentiellement sensible à la saturation, à la formulation des prompts et au risque de contamination.

Sources des scores : llm-stats.