Qwen1.5-72B

Qwen1.5-72B est un LLM chinois publié par Qwen le 4 février 2024. Avec 72 milliards de paramètres, il appartient aux grands modèles de sa génération, mais son âge, environ deux ans, est très long à l’échelle de l’IA générative.

Son entraînement reste l’élément le plus marquant de la fiche : 1,3 × 10²⁴ FLOP, soit environ 361 000 heures-GPU H100, l’équivalent d’environ 170 GPU H100 mobilisés pendant trois mois. Ce volume situe Qwen1.5-72B comme un modèle ambitieux pour sa période, même si ses performances doivent être lues avec le recul des modèles plus récents.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Entraînement & empreinte

Notre analyse

Forces. Qwen1.5-72B se distingue d’abord par son échelle : 72 milliards de paramètres et un entraînement représentant environ 361 000 heures-GPU H100. À sa sortie, il se plaçait dans le top 71% des LLM de sa période sur Epoch: GPQA diamond, un benchmark centré sur des questions scientifiques de niveau doctorat. Cette position indique un modèle compétitif dans une partie du paysage de début 2024, sans appartenir au sommet de sa génération.

Limites et points d'attention. Le score GPQA diamond disponible le situe en bas de classement dans l’échantillon global, avec un rang 121/132, ce qui signale des limites nettes sur le raisonnement scientifique avancé. Son ancienneté pèse fortement : environ deux ans représentent un cycle très long pour les LLM, et ce type de modèle est aujourd’hui largement dépassé par les modèles haut de gamme plus récents, souvent au point de ne plus être proposé activement par son éditeur. La couverture repose aussi sur une seule source de données concordante, ce qui limite la profondeur de comparaison disponible.

Sources des données : Epoch AI (epoch.ai), CC-BY-4.0.