Claude 3.7 Sonnet
Claude 3.7 Sonnet est un LLM propriétaire d’Anthropic, sorti le 24 février 2025, avec des poids non ouverts et une fenêtre de contexte de 200 000 tokens. À l’échelle de l’IA générative, son ancienneté d’environ un an le place déjà parmi les modèles d’une génération précédente, à comparer…
Claude 3.7 Sonnet est un LLM propriétaire d’Anthropic, sorti le 24 février 2025, avec des poids non ouverts et une fenêtre de contexte de 200 000 tokens. À l’échelle de l’IA générative, son ancienneté d’environ un an le place déjà parmi les modèles d’une génération précédente, à comparer surtout aux LLM de sa période.
Le modèle reste notable par l’ampleur de son entraînement, estimé à 3,4 × 10²⁵ FLOP, soit environ 9,3 millions d’heures-GPU H100 ou l’équivalent de 4 300 GPU H100 mobilisés pendant trois mois. À sa sortie, il se situait dans le top 3% de sa génération sur GPQA diamond.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Anthropic |
| Licence | Proprietary (poids non ouverts) |
| Date de sortie | 24 février 2025 |
| Connaissances jusqu'à | 2024-10-31 |
| Multimodal | oui |
| Fenêtre de contexte | 200 000 tokens |
| Modalités (entrée → sortie) | text,image → text |
Indices de synthèse
| Indice | Valeur | Rang (LLM) |
|---|---|---|
| Intelligence Index | 23.5 | 87ᵉ / 136 |
| Math Index | 21.0 | 45ᵉ / 55 |
Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Epoch: MATH level 5 | 91,2 % | 13ᵉ / 84 | epoch | ✅ Mesuré |
| Epoch: GPQA diamond | 79,7 % | 43ᵉ / 132 | epoch | ✅ Mesuré |
| Epoch: SWE-Bench verified | 61,0 % | 28ᵉ / 32 | epoch | ✅ Mesuré |
| Epoch: OTIS Mock AIME 2024-2025 | 57,8 % | 57ᵉ / 111 | epoch | ✅ Mesuré |
| Epoch: FrontierMath-2025-02-28-Private | 4,1 % | 50ᵉ / 69 | epoch | ✅ Mesuré |
| Epoch: FrontierMath-Tier-4-2025-07-01-Public | 0,0 % | 3ᵉ / 36 | epoch | ✅ Mesuré |
| Epoch: FrontierMath-2025-02-28-Public | 0,0 % | 35ᵉ / 64 | epoch | ✅ Mesuré |
| MATH-500 | 96,2 % | 13ᵉ / 31 | llm-stats | Auto-déclaré |
| IFEval | 93,2 % | 7ᵉ / 65 | llm-stats | Auto-déclaré |
| MMMLU | 86,1 % | 25ᵉ / 49 | llm-stats | Auto-déclaré |
| GPQA | 84,8 % | 44ᵉ / 213 | llm-stats | Auto-déclaré |
| TAU-bench Retail | 81,2 % | 4ᵉ / 24 | llm-stats | Auto-déclaré |
| AIME 2024 | 80,0 % | 27ᵉ / 52 | llm-stats | Auto-déclaré |
| MMMU | 75,0 % | 20ᵉ / 61 | llm-stats | Auto-déclaré |
| SWE-Bench Verified | 70,3 % | 54ᵉ / 100 | llm-stats | Auto-déclaré |
| TAU-bench Airline | 58,4 % | 8ᵉ / 22 | llm-stats | Auto-déclaré |
| AIME 2025 | 54,8 % | 93ᵉ / 108 | llm-stats | Auto-déclaré |
| Terminal-Bench | 35,2 % | 14ᵉ / 25 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.
Intelligence Index
Math Index
Classements Arena (Elo)
| Catégorie | Elo | Rang |
|---|---|---|
| Arena Text | 1387 | 138ᵉ |
| Arena Text | 1371 | 153ᵉ |
| Arena Vision | 1195 | 61ᵉ |
| Arena Vision | 1175 | 72ᵉ |
Tarifs
| Fournisseur | Entrée / 1M | Sortie / 1M | Cache lecture / 1M |
|---|---|---|---|
| artificialanalysis | 3 $ | 15 $ | 0,3 $ |
Prix en dollars US par million de tokens.
Sa tarification se situe 54 % au-dessus de la moyenne des LLM similaires, et 1,6 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.4, Gemini 3.1 Pro Preview).
Entraînement & empreinte
| Indicateur | Valeur |
|---|---|
| Compute d'entraînement | 3,4 × 10²⁵ FLOP |
| Jeu de données | Unspecified unreleased |
| Pays | United States of America |
Notre analyse
Forces. Claude 3.7 Sonnet se distinguait surtout, à sa sortie, par un très bon niveau sur GPQA diamond, un benchmark de questions scientifiques de niveau doctorat, où il figurait dans le haut du panier des LLM de sa génération. Ses résultats sur MATH level 5 étaient également solides, avec une position parmi les meilleurs modèles évalués sur ce test. La grande fenêtre de contexte de 200 000 tokens renforçait son intérêt pour l’analyse de longs documents et de corpus volumineux. Son tarif se plaçait dans la moyenne générale, tout en restant nettement inférieur à celui des modèles frontière.
Limites et points d'attention. Claude 3.7 Sonnet est aujourd’hui un modèle ancien à l’échelle du secteur, probablement dépassé par les générations récentes et souvent retiré du catalogue de l’éditeur. Son Intelligence Index le situe dans une zone intermédiaire, loin des tout premiers modèles du classement. Ses performances sur SWE-Bench verified, qui mesure la résolution de vrais bugs GitHub, apparaissent limitées face aux meilleurs systèmes de code. Les tests FrontierMath montrent aussi une faiblesse nette sur les mathématiques de recherche très difficiles. Sa tarification est 54% au-dessus de la moyenne des LLM similaires, malgré un positionnement global annoncé comme moyen. L’élément le plus marquant reste donc l’effort d’entraînement, avec 3,4 × 10²⁵ FLOP et l’équivalent d’environ 9,3 millions d’heures-GPU H100.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Artificial Analysis (artificialanalysis.ai) · Arena.ai (arena.ai) · Epoch AI (epoch.ai), CC-BY-4.0.