C-Eval

C-Eval est une suite d’évaluation chinoise consacrée aux connaissances disciplinaires et au raisonnement des modèles de fondation. Créé par Y. Huang et al., avec HKUST NLP et des collaborateurs, le benchmark s’inscrit dans un contexte linguistique et académique chinois, à travers des questions à choix multiples couvrant des domaines variés.

Son rôle est de fournir un repère standardisé pour comparer la capacité des modèles à mobiliser des savoirs scolaires, universitaires et professionnels. Il inclut aussi C-Eval Hard, un sous-ensemble conçu autour de sujets particulièrement exigeants en raisonnement avancé.

Carte d'identité

Métadonnées descriptives pré-renseignées automatiquement, en cours de relecture éditoriale.

Classement des modèles (top 18)

Classement établi sur 18 modèles évalués, dont 14 de grands éditeurs. Score médian de l'ensemble : 89,1 %. « Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench, MTEB…).

Notre analyse

Un score élevé sur C-Eval indique une forte maîtrise de connaissances structurées en chinois et une bonne capacité à résoudre des QCM couvrant plusieurs niveaux de difficulté. Dans la base observée, le score médian atteint 89 %, tandis que le meilleur résultat revient à Qwen3.6 Plus (Qwen) avec 93 %, ce qui suggère un classement resserré parmi les modèles les plus performants. Cette proximité peut signaler une forme de saturation partielle du benchmark, où les écarts deviennent moins discriminants en haut du tableau. La rigueur est renforcée par un jeu de test privé dont les réponses ne sont pas divulguées, mais l’interprétation reste prudente, car les scores sont majoritairement auto-déclarés par les éditeurs. Les limites principales tiennent au format QCM, à la portée centrée sur le chinois, et au risque général de contamination des données d’entraînement. Le classement met surtout en évidence les modèles les mieux adaptés aux connaissances et raisonnements évalués dans ce contexte spécifique.

Sources des scores : llm-stats.