Gemma 3 12B

Gemma 3 12B est un LLM de Google publié le 12 mars 2025 sous licence Gemma, avec des poids ouverts et un usage commercial autorisé. Avec 12 milliards de paramètres, il se positionne comme un modèle compact, très économique, doté d’une grande fenêtre de contexte et rattaché à la famille Gemma.

Son ancienneté, environ un an, est déjà très longue à l’échelle de l’IA. La fiche doit donc être lue comme celle d’un modèle de sa génération, probablement dépassé par les offres récentes et souvent absent des catalogues actuels de l’éditeur.

Caractéristiques

Performances (benchmarks)

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Classements Arena (Elo)

Tarifs

Prix en dollars US par million de tokens.

Sa tarification se situe 97 % en dessous de la moyenne des LLM similaires, et 96,7 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.4, Gemini 3.1 Pro Preview).

Coût & vitesse agentiques

Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.

Notre analyse

Forces. Gemma 3 12B se distingue surtout par son coût très bas, avec une tarification annoncée très inférieure à la moyenne des LLM similaires et nettement sous celle des modèles frontière. Sa fenêtre de contexte de 131 072 tokens reste un atout concret pour traiter de longs documents ou de longues conversations. Côté résultats, Email Classification (Baseline) ressort comme son meilleur point, avec un classement solide parmi plus de 250 modèles. Ethics (Baseline) et General Knowledge (Baseline) affichent aussi des scores élevés, même si leurs rangs le placent davantage en milieu de tableau. À sa sortie, il figurait dans le top 72% des LLM de sa génération sur GPQA, ce qui le situe correctement pour son époque sans en faire un modèle de tout premier plan.

Limites et points d'attention. Son âge pèse lourdement dans l’évaluation actuelle : environ un an représente un cycle très long pour les LLM, et ses performances sont aujourd’hui largement dépassées par les modèles plus récents. Les benchmarks Benchable montrent des fragilités nettes en Mathematics (Baseline) et en Reasoning (Baseline), deux domaines où il se classe dans la partie basse des modèles évalués. Coding (Baseline) reste utilisable sur le papier, mais son rang indique un positionnement modeste. L’Arena text confirme aussi une compétitivité limitée face à l’ensemble du marché. Sa coupure de connaissances au 31 août 2024 limite enfin la couverture des faits récents. La couverture repose sur 4 sources concordantes, ce qui stabilise les données disponibles, sans modifier le constat principal : Gemma 3 12B relève surtout d’un modèle économique et ouvert de sa période, plus que d’une option de pointe actuelle.

Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Arena.ai (arena.ai) · Benchable.ai (benchable.ai).