Qwen2-72B

Qwen2-72B est un LLM de Qwen, publié le 7 juin 2024, avec 73 milliards de paramètres. Son ancienneté d’environ deux ans est très longue à l’échelle de l’IA : il doit surtout être lu comme un grand modèle de sa génération, plutôt que comme une référence actuelle.

À sa sortie, Qwen2-72B se situait dans le top 22% des LLM comparables sur GPQA diamond, un benchmark de questions scientifiques de niveau doctorat. Son entraînement reste marquant par son volume, avec 3,0 × 10²⁴ FLOP, soit environ 839 000 heures-GPU H100.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Entraînement & empreinte

Notre analyse

Forces. Qwen2-72B appartenait au haut du panier de sa génération sur GPQA diamond, ce qui indique un niveau compétitif, à l’époque, sur des questions scientifiques exigeantes. Son score sur MATH level 5 le plaçait plutôt en milieu de tableau parmi les modèles évalués, avec une capacité réelle mais non dominante sur les problèmes mathématiques difficiles. Le volume d’entraînement, équivalent à environ 390 GPU H100 tournant trois mois, signale un modèle construit avec des moyens de calcul importants pour sa période.

Limites et points d'attention. Qwen2-72B est aujourd’hui un modèle ancien : ses performances sont largement dépassées par les modèles haut de gamme plus récents, et ce type de version est souvent retiré du catalogue actif de son éditeur. Son rang global sur GPQA diamond le place loin des meilleurs modèles évalués sur ce benchmark, malgré son bon positionnement relatif au moment de la sortie. La couverture disponible repose sur une seule source de données concordante, ce qui limite la profondeur des comparaisons indépendantes.

Sources des données : Epoch AI (epoch.ai), CC-BY-4.0.