Gemma 3 27B

Gemma 3 27B est un LLM de Google publié le 12 mars 2025, sous licence Gemma, avec des poids ouverts et un usage commercial autorisé. Avec 27 milliards de paramètres et une fenêtre de contexte de 131 072 tokens, il visait un compromis entre taille maîtrisée, contexte long et coûts bas.

Son ancienneté, environ un an, est déjà très longue à l’échelle de l’IA. Gemma 3 27B se lit donc surtout comme un modèle de sa génération : à sa sortie, il se situait dans le top 43% des LLM comparables sur GPQA diamond, mais ses classements globaux indiquent aujourd’hui un net décrochage.

Caractéristiques

Indices de synthèse

Indices Artificial Analysis. Le rang situe le modèle parmi tous les LLM du catalogue disposant de l'indice.

Performances (benchmarks)

« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Classements Arena (Elo)

Tarifs

Prix en dollars US par million de tokens.

Sa tarification se situe 96 % en dessous de la moyenne des LLM similaires, et 60,4 fois moins cher que les modèles frontières (Claude Fable 5, GPT-5.4, Gemini 3.1 Pro Preview).

Coût & vitesse agentiques

Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.

Notre analyse

Forces. Gemma 3 27B garde deux atouts concrets : son coût et certains résultats ciblés. Sa tarification est très économique, 96% sous la moyenne des LLM similaires et environ 60.4 fois moins chère que les modèles frontière, ce qui le plaçait parmi les options les plus accessibles de sa catégorie. Sur Benchable Ethics (Baseline), il atteint le tout premier rang du corpus mesuré, un résultat nettement supérieur au reste de son profil. Ses scores Benchable en General Knowledge, Email Classification, Coding et Mathematics sont élevés en valeur brute, même si les rangs associés le placent plutôt dans le milieu de tableau. Sur Epoch MATH level 5, il reste dans une zone honorable pour un modèle de cette période.

Limites et points d'attention. Les indices synthétiques sont faibles : l’Intelligence Index est presque en bas du classement, le Code Index ferme son groupe de comparaison, et le Math Index reste loin des meilleurs modèles évalués. Les résultats Arena text et Arena vision confirment une position secondaire face aux modèles plus récents. Sa base de connaissances s’arrête au 31 août 2024, ce qui limite son intérêt sur les sujets postérieurs. Comme modèle ancien, Gemma 3 27B est probablement largement dépassé aujourd’hui et souvent retiré des catalogues d’éditeur, malgré une disponibilité en open-weights qui peut conserver un intérêt d’archivage, de comparaison historique ou d’exécution à bas coût.

Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai) · Artificial Analysis (artificialanalysis.ai) · Arena.ai (arena.ai) · Epoch AI (epoch.ai), CC-BY-4.0 · Benchable.ai (benchable.ai).