Llama 4 Scout
Llama 4 Scout est un LLM de Meta publié le 5 avril 2025 sous Llama 4 Community License Agreement, avec des poids non ouverts. Son trait le plus distinctif est une fenêtre de contexte de 10 000 000 tokens, très atypique pour un modèle de cette génération, associée à un positionnement…
Llama 4 Scout est un LLM de Meta publié le 5 avril 2025 sous Llama 4 Community License Agreement, avec des poids non ouverts. Son trait le plus distinctif est une fenêtre de contexte de 10 000 000 tokens, très atypique pour un modèle de cette génération, associée à un positionnement tarifaire très économique.
Avec environ un an d’ancienneté, Llama 4 Scout appartient déjà à une génération ancienne à l’échelle de l’IA. Son entraînement reste notable, avec 4,1 × 10²⁴ FLOP, soit environ 1,1 million d’heures-GPU H100, l’équivalent d’environ 520 GPU H100 mobilisés pendant trois mois.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Meta |
| Licence | Llama 4 Community License Agreement (poids non ouverts) |
| Date de sortie | 5 avril 2025 |
| Connaissances jusqu'à | 2024-08-31 |
| Multimodal | oui |
| Paramètres | 109 milliards |
| Fenêtre de contexte | 10 000 000 tokens (≈ 10,0 M) |
| Modalités (entrée → sortie) | text,image → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Epoch: MATH level 5 | 62,3 % | 39ᵉ / 84 | epoch | ✅ Mesuré |
| Epoch: GPQA diamond | 51,8 % | 76ᵉ / 132 | epoch | ✅ Mesuré |
| Epoch: OTIS Mock AIME 2024-2025 | 7,8 % | 83ᵉ / 111 | epoch | ✅ Mesuré |
| PinchBench : agentique (OpenClaw, 147 tâches) | 3,2 % | 52ᵉ / 52 | pinchbench | ✅ Mesuré |
| Epoch: FrontierMath-2025-02-28-Private | 0,0 % | 68ᵉ / 69 | epoch | ✅ Mesuré |
| Epoch: FrontierMath-2025-02-28-Public | 0,0 % | 35ᵉ / 64 | epoch | ✅ Mesuré |
| DocVQA | 94,4 % | 7ᵉ / 26 | llm-stats | Auto-déclaré |
| MGSM | 90,6 % | 7ᵉ / 30 | llm-stats | Auto-déclaré |
| ChartQA | 88,8 % | 5ᵉ / 24 | llm-stats | Auto-déclaré |
| MMLU | 79,6 % | 62ᵉ / 98 | llm-stats | Auto-déclaré |
| MMLU-Pro | 74,3 % | 70ᵉ / 125 | llm-stats | Auto-déclaré |
| MathVista | 70,7 % | 14ᵉ / 38 | llm-stats | Auto-déclaré |
| MMMU | 69,4 % | 32ᵉ / 61 | llm-stats | Auto-déclaré |
| MBPP | 67,8 % | 24ᵉ / 33 | llm-stats | Auto-déclaré |
| GPQA | 57,2 % | 145ᵉ / 213 | llm-stats | Auto-déclaré |
| MATH | 50,3 % | 54ᵉ / 70 | llm-stats | Auto-déclaré |
| LiveCodeBench | 32,8 % | 58ᵉ / 72 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.
Epoch: MATH level 5
Epoch: GPQA diamond
Classements Arena (Elo)
| Catégorie | Elo | Rang |
|---|---|---|
| Arena Vision | 1128 | 92ᵉ |
Tarifs
| Fournisseur | Entrée / 1M | Sortie / 1M | Cache lecture / 1M |
|---|---|---|---|
| DeepInfra | 0,1 $ | 0,3 $ | n.d. |
Prix en dollars US par million de tokens.
Sa tarification se situe 95 % en dessous de la moyenne des LLM similaires, et 48,3 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.4, Gemini 3.1 Pro Preview).
Coût & vitesse agentiques
| Indicateur | Valeur |
|---|---|
| Coût par exécution agentique — PinchBench (147 tâches) | 0,24 $ |
| Durée d'exécution — PinchBench | 3 h 46 min |
| Indice valeur/coût — PinchBench | 13,13 |
Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.
Entraînement & empreinte
| Indicateur | Valeur |
|---|---|
| Compute d'entraînement | 4,1 × 10²⁴ FLOP |
| Taille du jeu d'entraînement | 3,0 × 10¹³ |
| Pays | United States of America |
Notre analyse
Forces. À sa sortie, Llama 4 Scout se situait dans le top 34% des LLM de sa génération sur GPQA diamond, un benchmark de questions scientifiques niveau doctorat. Ce résultat en faisait un modèle compétitif pour son époque sur une partie du raisonnement scientifique généraliste. Son autre avantage majeur tient au coût: la tarification est environ 95% inférieure à la moyenne des LLM similaires et près de 48,3 fois moins chère que les modèles frontière. Cette combinaison, très grand contexte et prix bas, explique son intérêt comme modèle d’infrastructure économique pour traiter de longs corpus.
Limites et points d'attention. Les résultats montrent des faiblesses nettes sur les tâches les plus exigeantes. Llama 4 Scout est en bas de tableau sur PinchBench pour l’agentique, très faible sur OTIS Mock AIME pour les olympiades de mathématiques, et quasiment absent sur FrontierMath, qui mesure des problèmes de mathématiques de recherche très difficiles. Son rang Arena vision reste également éloigné des meilleurs modèles multimodaux. Aujourd’hui, ses performances sont largement dépassées et ce type de modèle ancien est souvent retiré du catalogue de l’éditeur. L’effort d’entraînement demeure toutefois significatif, avec environ 1,1 million d’heures-GPU H100 mobilisées.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Arena.ai (arena.ai) · Epoch AI (epoch.ai), CC-BY-4.0 · PinchBench (pinchbench.com).