o1

o1 est un LLM propriétaire d’OpenAI, sorti le 17 décembre 2024, avec des poids non ouverts et une fenêtre de contexte de 200 000 tokens. À l’échelle de l’IA, son ancienneté d’environ deux ans est déjà importante, ce qui le situe d’abord comme un modèle marquant de sa période plutôt que comme une référence actuelle.

À sa sortie, o1 figurait dans le top 2% des LLM de sa génération sur Epoch: GPQA diamond, un signal fort sur les tâches de raisonnement avancé. Son positionnement était premium, avec des tarifs nettement supérieurs à la moyenne des LLM similaires et aux modèles frontière.

Caractéristiques

Indices de synthèse

Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.

Performances (benchmarks)

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Classements Arena (Elo)

Tarifs

Prix en dollars US par million de tokens.

Sa tarification se situe 670 % au-dessus de la moyenne des LLM similaires, et 3,1 fois plus cher que les modèles frontières (Claude Fable 5, GPT-5.4, Gemini 3.1 Pro Preview).

Coût & vitesse agentiques

Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.

Entraînement & empreinte

Notre analyse

Forces. o1 se distingue surtout par le raisonnement. Il atteint le sommet du benchmark Benchable Reasoning (Baseline), qui évalue la résolution de problèmes structurés, et reste très bien placé sur Epoch: MATH level 5, centré sur des problèmes mathématiques difficiles. À sa sortie, il appartenait clairement au haut du panier de sa génération sur GPQA diamond, un benchmark associé à des questions scientifiques exigeantes. Les résultats élevés en General Knowledge, Hallucinations et Email Classification indiquent aussi un modèle solide sur les tâches générales, avec une bonne fiabilité relative dans les évaluations disponibles. Sa grande fenêtre de contexte renforce son intérêt historique pour l’analyse de longs contenus.

Limites et points d'attention. o1 est aujourd’hui un modèle ancien dans un secteur où les générations se renouvellent vite. Ses performances globales, notamment son Intelligence Index en milieu de classement et son classement Arena text éloigné des premiers rangs, indiquent un modèle probablement dépassé face aux références actuelles. Le Code Index le place aussi dans une zone moins favorable que ses meilleurs résultats en raisonnement. Son plafond de connaissances s’arrête au 2023-10-31. Le coût constitue une autre limite nette : l’entrée à 15 $ par million de tokens et la sortie à 60 $ par million le placent 670% au-dessus de la moyenne des LLM similaires, et environ 3,1 fois plus cher que les modèles frontière. Un modèle de cet âge est en outre souvent retiré du catalogue de son éditeur.

Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Artificial Analysis (artificialanalysis.ai) · Arena.ai (arena.ai) · Epoch AI (epoch.ai), CC-BY-4.0 · Benchable.ai (benchable.ai).