Llama 3.1 405B Instruct
Llama 3.1 405B Instruct est un LLM de Meta sorti le 23 juillet 2024, dans la famille Llama 3.1 Community License, avec des poids non ouverts. Son positionnement tient à son format massif de 405 milliards de paramètres et à une fenêtre de contexte très longue, pensée pour traiter de…
Llama 3.1 405B Instruct est un LLM de Meta sorti le 23 juillet 2024, dans la famille Llama 3.1 Community License, avec des poids non ouverts. Son positionnement tient à son format massif de 405 milliards de paramètres et à une fenêtre de contexte très longue, pensée pour traiter de grands volumes de texte dans une même requête.
Avec près de deux ans d’ancienneté, Llama 3.1 405B Instruct appartient déjà à une génération ancienne à l’échelle de l’IA. À sa sortie, il se situait dans le premier tiers des LLM comparables sur GPQA, mais son évaluation doit rester ancrée dans le paysage de 2024.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Meta |
| Licence | Llama 3.1 Community License (poids non ouverts) |
| Date de sortie | 23 juillet 2024 |
| Connaissances jusqu'à | 2023-12-31 |
| Multimodal | non |
| Paramètres | 405 milliards |
| Fenêtre de contexte | 131 072 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| ARC-C | 96,9 % | 2ᵉ / 34 | llm-stats | Auto-déclaré |
| GSM8k | 96,8 % | 5ᵉ / 47 | llm-stats | Auto-déclaré |
| API-Bank | 92,0 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| Multilingual MGSM (CoT) | 91,6 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| HumanEval | 89,0 % | 15ᵉ / 65 | llm-stats | Auto-déclaré |
| IFEval | 88,6 % | 25ᵉ / 65 | llm-stats | Auto-déclaré |
| MMLU (CoT) | 88,6 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| BFCL | 88,5 % | 1ᵉ / 11 | llm-stats | Auto-déclaré |
| MMLU | 87,3 % | 24ᵉ / 98 | llm-stats | Auto-déclaré |
| DROP | 84,8 % | 6ᵉ / 29 | llm-stats | Auto-déclaré |
| Multipl-E HumanEval | 75,2 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| MATH | 73,8 % | 30ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU-Pro | 73,3 % | 73ᵉ / 125 | llm-stats | Auto-déclaré |
| Multipl-E MBPP | 65,7 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
| Nexus | 58,7 % | 1ᵉ / 4 | llm-stats | Auto-déclaré |
| GPQA | 50,7 % | 154ᵉ / 213 | llm-stats | Auto-déclaré |
| Gorilla Benchmark API Bench | 35,3 % | 1ᵉ / 3 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. Llama 3.1 405B Instruct se distinguait à sa sortie par son échelle, avec 405 milliards de paramètres, et par une fenêtre de contexte de 131 072 tokens, nettement orientée vers les tâches longues. Son classement dans le premier tiers des 25 LLM de sa période sur GPQA indique qu’il faisait partie des modèles solides de sa génération, sans être nécessairement tout en haut du marché. La date de coupure des connaissances, fixée au 31 décembre 2023, le rendait cohérent avec les usages d’analyse et de génération fondés sur des informations récentes au moment de son lancement.
Limites et points d’attention. Son ancienneté est aujourd’hui le principal facteur à retenir : près de deux ans représentent un cycle très long pour les LLM, et ses performances sont probablement largement dépassées par les modèles haut de gamme actuels. Le modèle est aussi souvent susceptible de ne plus être proposé dans les catalogues récents de l’éditeur. Sa licence Llama 3.1 Community License ne correspond pas à des poids ouverts, ce qui limite la lecture du modèle comme une brique pleinement ouverte. Enfin, sa coupure de connaissances fin 2023 impose une prudence sur les faits postérieurs.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).