Claude 3.5 Sonnet

Claude 3.5 Sonnet est un LLM propriétaire d’Anthropic, lancé le 22 octobre 2024, avec des poids non ouverts et une fenêtre de contexte de 200 000 tokens. À l’échelle de l’IA, son ancienneté d’environ deux ans le place déjà dans une génération largement dépassée, à comparer surtout aux modèles disponibles autour de sa sortie.

Le modèle reste notable par l’ampleur de son entraînement estimé : 2,7 × 10²⁵ FLOP, soit environ 7,5 millions d’heures-GPU H100, pour un coût évalué à 25,9 millions de dollars. Sa fiche décrit donc autant un jalon industriel de 2024 qu’un modèle aujourd’hui moins compétitif.

Caractéristiques

Indices de synthèse

Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.

Performances (benchmarks)

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Classements Arena (Elo)

Tarifs

Prix en dollars US par million de tokens.

Sa tarification se situe 54 % au-dessus de la moyenne des LLM similaires, et 1,6 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.4, Gemini 3.1 Pro Preview).

Entraînement & empreinte

Notre analyse

Forces. À sa sortie, Claude 3.5 Sonnet figurait dans le haut du panier de sa génération sur GPQA diamond, un benchmark de questions scientifiques niveau doctorat, avec un classement dans le top 6% des LLM comparables sur la même période. Sa fenêtre de contexte de 200 000 tokens constituait aussi un atout concret pour traiter de longs documents ou de longues conversations. Son positionnement tarifaire était intermédiaire : plus cher que la moyenne des LLM similaires, mais nettement moins coûteux que les modèles frontière, ce qui le situait entre modèle premium et option plus accessible.

Limites et points d'attention. Les classements actuels signalent un recul net : Intelligence Index et Code Index se situent en bas de tableau, tandis que les résultats en mathématiques avancées restent faibles sur OTIS Mock AIME et FrontierMath. Les scores nuls sur certaines variantes de FrontierMath confirment des limites sur les problèmes de recherche très difficiles, même lorsqu’un classement isolé apparaît favorable. Le modèle est ancien pour le marché de l’IA, probablement dépassé par les générations récentes et souvent absent des catalogues actuels de l’éditeur. Ce décalage contraste avec un effort d’entraînement massif, équivalent à environ 3 500 GPU H100 tournant trois mois, pour 25,9 millions de dollars estimés.

Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Artificial Analysis (artificialanalysis.ai) · Arena.ai (arena.ai) · Epoch AI (epoch.ai), CC-BY-4.0.