deepseek-chat-v3
deepseek-chat-v3 est un LLM de DeepSeek orienté chat, évalué ici à travers des benchmarks Benchable couvrant la fiabilité, l’éthique, la connaissance générale, la classification d’e-mails, les mathématiques et le code.
deepseek-chat-v3 est un LLM de DeepSeek orienté chat, évalué ici à travers des benchmarks Benchable couvrant la fiabilité, l’éthique, la connaissance générale, la classification d’e-mails, les mathématiques et le code.
Son profil se distingue surtout par des résultats de tête sur Hallucinations (Baseline) et Ethics (Baseline), deux dimensions sensibles pour un modèle conversationnel. Les autres évaluations montrent un niveau solide, mais plus contrasté selon les tâches.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | DeepSeek |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Benchable : Hallucinations (Baseline) | 100,0 % | 1ᵉ / 229 | benchable | ✅ Mesuré |
| Benchable : Ethics (Baseline) | 100,0 % | 1ᵉ / 248 | benchable | ✅ Mesuré |
| Benchable : General Knowledge (Baseline) | 99,5 % | 68ᵉ / 250 | benchable | ✅ Mesuré |
| Benchable : Email Classification (Baseline) | 98,0 % | 90ᵉ / 254 | benchable | ✅ Mesuré |
| Benchable : Mathematics (Baseline) | 92,0 % | 92ᵉ / 217 | benchable | ✅ Mesuré |
| Benchable : Coding (Baseline) | 89,0 % | 118ᵉ / 248 | benchable | ✅ Mesuré |
| Benchable : Reasoning (Baseline) | 80,0 % | 114ᵉ / 239 | benchable | ✅ Mesuré |
| Benchable : Instruction Following (Baseline) | 71,0 % | 82ᵉ / 252 | benchable | ✅ Mesuré |
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.
Benchable : Hallucinations (Baseline)
Benchable : Ethics (Baseline)
Coût & vitesse agentiques
| Indicateur | Valeur |
|---|---|
| Coût moyen par benchmark — Benchable | 0,01 $ |
| Latence moyenne par benchmark — Benchable | 4 min 50 s |
Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.
Notre analyse
Forces. deepseek-chat-v3 se place dans le top 10 sur Hallucinations (Baseline) et Ethics (Baseline), avec des scores maximaux sur ces deux volets. Ce positionnement indique un modèle particulièrement bien noté sur la réduction des réponses hallucinéatoires et sur les critères éthiques mesurés par Benchable. General Knowledge (Baseline) atteint aussi un score maximal, même si son classement est moins dominant, signe d’une concurrence dense sur ce test. Email Classification (Baseline) reste élevé, ce qui suggère une bonne tenue sur une tâche structurée de compréhension et de catégorisation de texte.
Limites et points d'attention. Les performances en Mathematics (Baseline) et Coding (Baseline) sont correctes, mais elles ne placent pas deepseek-chat-v3 parmi les tout meilleurs du panel Benchable. Le code se situe plutôt en milieu de tableau, ce qui invite à ne pas réduire le modèle à ses meilleurs résultats. La couverture repose sur 1 source de données concordantes, un point important pour interpréter les classements avec prudence. Profil pertinent pour des usages conversationnels où la fiabilité perçue, l’éthique et la connaissance générale comptent davantage que la performance de pointe en programmation ou en raisonnement mathématique.
Sources des données : Benchable.ai (benchable.ai).