Llama 3.1 70B Instruct
Llama 3.1 70B Instruct est un LLM de Meta publié le 23 juillet 2024, sous Llama 3.1 Community License, avec des poids non ouverts. Avec ses 70 milliards de paramètres et sa fenêtre de contexte de 131 072 tokens, il représentait un grand modèle instruct de sa génération, conçu pour…
Llama 3.1 70B Instruct est un LLM de Meta publié le 23 juillet 2024, sous Llama 3.1 Community License, avec des poids non ouverts. Avec ses 70 milliards de paramètres et sa fenêtre de contexte de 131 072 tokens, il représentait un grand modèle instruct de sa génération, conçu pour traiter de longues entrées.
Son ancienneté, près de deux ans, est très longue à l’échelle de l’IA. Le modèle doit donc être lu comme une référence de 2024, souvent dépassée par les offres actuelles. Son principal intérêt résiduel tient à son coût très bas, nettement inférieur aux LLM comparables et aux modèles frontière.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Meta |
| Licence | Llama 3.1 Community License (poids non ouverts) |
| Date de sortie | 23 juillet 2024 |
| Connaissances jusqu'à | 2023-12-31 |
| Multimodal | non |
| Paramètres | 70 milliards |
| Fenêtre de contexte | 131 072 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Benchable : Ethics (Baseline) | 100,0 % | 1ᵉ / 248 | benchable | ✅ Mesuré |
| Benchable : Email Classification (Baseline) | 98,0 % | 90ᵉ / 254 | benchable | ✅ Mesuré |
| Benchable : General Knowledge (Baseline) | 97,8 % | 149ᵉ / 250 | benchable | ✅ Mesuré |
| Benchable : Hallucinations (Baseline) | 94,0 % | 126ᵉ / 229 | benchable | ✅ Mesuré |
| Benchable : Instruction Following (Baseline) | 54,0 % | 162ᵉ / 252 | benchable | ✅ Mesuré |
| Benchable : Reasoning (Baseline) | 52,0 % | 181ᵉ / 239 | benchable | ✅ Mesuré |
| Benchable : Mathematics (Baseline) | 24,0 % | 194ᵉ / 217 | benchable | ✅ Mesuré |
| PinchBench : agentique (OpenClaw, 147 tâches) | 10,7 % | 51ᵉ / 52 | pinchbench | ✅ Mesuré |
| Benchable : Coding (Baseline) | 2,0 % | 235ᵉ / 248 | benchable | ✅ Mesuré |
| ARC-C | 94,8 % | 4ᵉ / 34 | llm-stats | Auto-déclaré |
| API-Bank | 90,0 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| IFEval | 87,5 % | 32ᵉ / 65 | llm-stats | Auto-déclaré |
| Multilingual MGSM (CoT) | 86,9 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| MMLU (CoT) | 86,0 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| BFCL | 84,8 % | 2ᵉ / 11 | llm-stats | Auto-déclaré |
| MMLU | 83,6 % | 45ᵉ / 98 | llm-stats | Auto-déclaré |
| HumanEval | 80,5 % | 44ᵉ / 65 | llm-stats | Auto-déclaré |
| DROP | 79,6 % | 13ᵉ / 29 | llm-stats | Auto-déclaré |
| MATH (CoT) | 68,0 % | 1ᵉ / 6 | llm-stats | Auto-déclaré |
| MMLU-Pro | 66,4 % | 94ᵉ / 125 | llm-stats | Auto-déclaré |
| Multipl-E HumanEval | 65,5 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| Multipl-E MBPP | 62,0 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
| Nexus | 56,7 % | 2ᵉ / 4 | llm-stats | Auto-déclaré |
| GPQA | 41,7 % | 180ᵉ / 213 | llm-stats | Auto-déclaré |
| Gorilla Benchmark API Bench | 29,7 % | 2ᵉ / 3 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.
Benchable : Ethics (Baseline)
Benchable : Email Classification (Baseline)
Tarifs
| Fournisseur | Entrée / 1M | Sortie / 1M | Cache lecture / 1M |
|---|---|---|---|
| DeepInfra (Turbo) | 0,4 $ | 0,4 $ | n.d. |
Prix en dollars US par million de tokens.
Sa tarification se situe 79 % en dessous de la moyenne des LLM similaires, et 12,1 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.4, Gemini 3.1 Pro Preview).
Coût & vitesse agentiques
| Indicateur | Valeur |
|---|---|
| Coût par exécution agentique — PinchBench (147 tâches) | 5 $ |
| Durée d'exécution — PinchBench | 4 h 32 min |
| Indice valeur/coût — PinchBench | 2,14 |
| Coût moyen par benchmark — Benchable | 0 $ |
| Latence moyenne par benchmark — Benchable | 3 min 44 s |
Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.
Notre analyse
Forces. Llama 3.1 70B Instruct se distingue surtout par son positionnement économique, avec un tarif très inférieur à la moyenne des LLM similaires et environ 12.1 fois plus bas que les modèles frontière. Sa grande fenêtre de contexte reste un point concret pour analyser ou résumer de longs documents. Sur Benchable, le modèle ressort très fortement en Ethics (Baseline), où il se place dans le tout premier rang du classement, et obtient aussi de bons résultats bruts en Email Classification (Baseline) et General Knowledge (Baseline). À sa sortie, son classement GPQA le situait dans la première moitié des LLM de sa génération, ce qui en faisait un modèle compétitif pour sa période, sans être un leader absolu.
Limites et points d'attention. Llama 3.1 70B Instruct accuse aujourd’hui son âge : ses performances sont largement dépassées par des modèles plus récents, et ce type de modèle est souvent retiré ou marginalisé dans les catalogues d’éditeur. Ses résultats Benchable montrent des faiblesses nettes en Instruction Following (Baseline) et Reasoning (Baseline), deux domaines centraux pour les assistants généralistes. Le score en Hallucinations (Baseline) reste correct mais ne le place pas parmi les modèles les plus fiables. Sa base de connaissances s’arrête au 31 décembre 2023, ce qui limite toute analyse d’actualité sans apport externe.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · PinchBench (pinchbench.com) · Benchable.ai (benchable.ai).