DeepSeek LLM 67B

DeepSeek LLM 67B est un llm de DeepSeek publié le 29 novembre 2023. Son ancienneté, près de trois ans, le place dans une génération déjà très éloignée du rythme actuel de l’IA, où les écarts de performance se creusent vite.

La fiche sert surtout à situer un modèle important de sa période plutôt qu’un candidat de référence aujourd’hui. À sa sortie, il se plaçait dans le top 88% des LLM de sa génération sur Epoch: GPQA diamond, mais ses résultats publics le montrent désormais très en retrait sur les tâches scientifiques et mathématiques exigeantes.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Notre analyse

Forces. DeepSeek LLM 67B conserve un intérêt historique pour comprendre le positionnement de DeepSeek fin 2023. À sa sortie, son classement relatif sur Epoch: GPQA diamond, un benchmark de questions scientifiques niveau doctorat, le situait dans le haut du groupe des LLM comparables de la même période. Cette lecture générationnelle est la plus pertinente, car elle replace le modèle dans un marché où les grands modèles ouverts ou spécialisés progressaient rapidement.

Limites et points d'attention. Les mesures disponibles indiquent des faiblesses nettes sur les évaluations difficiles. Sur Epoch: GPQA diamond, DeepSeek LLM 67B figure presque en fin de classement global, et MATH level 5 confirme une capacité limitée sur les problèmes mathématiques avancés. À près de trois ans d’âge, ses performances sont aujourd’hui largement dépassées par les modèles haut de gamme récents, et un modèle de cette génération est souvent retiré ou marginalisé dans les catalogues éditeurs. La couverture repose sur une seule source de données concordante, et aucun chiffre vérifié sur le compute d’entraînement ou le coût n’est disponible dans les faits fournis.

Sources des données : Epoch AI (epoch.ai), CC-BY-4.0.