Gemma 3 4B

Gemma 3 4B est un LLM de Google publié le 12 mars 2025 sous licence Gemma, avec des poids ouverts et un usage commercial autorisé. Avec 4 milliards de paramètres, il occupe le segment des modèles compacts, à coût très bas, et propose une fenêtre de contexte longue de 131 072 tokens.

Son ancienneté d’environ un an est déjà importante à l’échelle de l’IA. Gemma 3 4B doit donc être lu comme un modèle de sa génération, avec des connaissances arrêtées au 1 août 2024, plutôt que comme une référence actuelle face aux modèles haut de gamme récents.

Caractéristiques

Performances (benchmarks)

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Tarifs

Prix en dollars US par million de tokens.

Sa tarification se situe 97 % en dessous de la moyenne des LLM similaires, et 96,7 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.4, Gemini 3.1 Pro Preview).

Coût & vitesse agentiques

Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.

Notre analyse

Forces. À sa sortie, Gemma 3 4B figurait dans le haut du panier de sa génération sur GPQA, ce qui le situe comme un petit modèle compétitif pour son époque sur une évaluation exigeante de questions-réponses. Son résultat le plus solide dans les données Benchable concerne Ethics, avec une performance absolue élevée malgré un classement relatif modeste. Sa fenêtre de contexte de 131 072 tokens reste un atout concret pour traiter de longs documents ou conserver davantage d’historique dans une requête. Son autre force majeure est économique : son prix est très inférieur à celui des LLM similaires et environ 96.7 fois plus bas que celui des modèles frontière, tout en conservant une licence open-weights autorisant l’usage commercial.

Limites et points d'attention. Les classements Benchable placent Gemma 3 4B dans le bas de tableau sur plusieurs tâches pratiques, notamment Email Classification, General Knowledge, Coding et Reasoning. Le raisonnement est le point faible le plus net, avec un score bas et un rang défavorable parmi les modèles évalués. Son âge pèse aussi fortement : un an représente un cycle long pour les LLM, et ses performances sont aujourd’hui largement dépassées par les modèles récents. Il peut aussi être absent des catalogues actuels de l’éditeur ou moins mis en avant que les générations suivantes. Aucune donnée chiffrée fournie ne permet de documenter ici le compute d’entraînement, l’équivalent GPU H100 ou le coût d’entraînement.

Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Benchable.ai (benchable.ai).