Qwen2.5-Coder 7B Instruct
Qwen2.5-Coder 7B Instruct est un LLM de Qwen publié le 19 septembre 2024, avec des poids ouverts sous licence Apache 2.0 et un usage commercial autorisé. Son format 7 milliards de paramètres le place dans la catégorie des modèles compacts, tandis que sa fenêtre de contexte de 131 072…
Qwen2.5-Coder 7B Instruct est un LLM de Qwen publié le 19 septembre 2024, avec des poids ouverts sous licence Apache 2.0 et un usage commercial autorisé. Son format 7 milliards de paramètres le place dans la catégorie des modèles compacts, tandis que sa fenêtre de contexte de 131 072 tokens reste un élément distinctif pour traiter de longs contenus.
Avec environ deux ans d’ancienneté, il appartient déjà à une génération très datée à l’échelle de l’IA. La fiche le situe donc surtout par rapport aux modèles de sa période, plutôt qu’aux systèmes actuels, dont les performances ont fortement progressé depuis sa sortie.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Qwen |
| Licence | Apache 2.0 (open-weights, usage commercial autorisé) |
| Date de sortie | 19 septembre 2024 |
| Connaissances jusqu'à | 2024-06-30 |
| Multimodal | non |
| Paramètres | 7 milliards |
| Fenêtre de contexte | 131 072 tokens |
| Modalités (entrée → sortie) | text → text |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| HumanEval | 88,4 % | 20ᵉ / 65 | llm-stats | Auto-déclaré |
| GSM8k | 83,9 % | 35ᵉ / 47 | llm-stats | Auto-déclaré |
| MBPP | 83,5 % | 9ᵉ / 33 | llm-stats | Auto-déclaré |
| HellaSwag | 76,8 % | 21ᵉ / 27 | llm-stats | Auto-déclaré |
| Winogrande | 72,9 % | 15ᵉ / 22 | llm-stats | Auto-déclaré |
| MMLU | 67,6 % | 87ᵉ / 98 | llm-stats | Auto-déclaré |
| MMLU-Redux | 66,6 % | 46ᵉ / 48 | llm-stats | Auto-déclaré |
| ARC-C | 60,9 % | 30ᵉ / 34 | llm-stats | Auto-déclaré |
| Aider | 55,6 % | 3ᵉ / 4 | llm-stats | Auto-déclaré |
| TruthfulQA | 50,6 % | 17ᵉ / 18 | llm-stats | Auto-déclaré |
| MATH | 46,6 % | 60ᵉ / 70 | llm-stats | Auto-déclaré |
| MMLU-Pro | 40,1 % | 123ᵉ / 125 | llm-stats | Auto-déclaré |
| TheoremQA | 34,0 % | 5ᵉ / 6 | llm-stats | Auto-déclaré |
| LiveCodeBench | 18,2 % | 65ᵉ / 72 | llm-stats | Auto-déclaré |
« Auto-déclaré » : score communiqué par l'éditeur, non rejoué indépendamment. « Mesuré » : évalué par un tiers (Epoch AI, LiveBench). Le rang est calculé parmi les LLM évalués sur le même benchmark.
Notre analyse
Forces. À sa sortie, Qwen2.5-Coder 7B Instruct se situait dans le haut du panier de sa génération sur MATH, avec un classement dans le top 78% parmi 36 LLM publiés dans une fenêtre comparable. Cette position indique un modèle compétitif pour son époque sur les tâches évaluées par ce benchmark, malgré un format limité à 7 milliards de paramètres. Sa licence Apache 2.0 constitue aussi un atout concret, car les poids sont ouverts et l’usage commercial est autorisé. La fenêtre de contexte de 131 072 tokens renforce son intérêt historique, en particulier pour l’analyse de corpus longs par rapport à de nombreux modèles compacts de la même période.
Limites et points d'attention. Qwen2.5-Coder 7B Instruct est un modèle ancien dans un secteur où deux ans représentent un écart majeur. Ses performances sont aujourd’hui largement dépassées par les modèles haut de gamme et il est souvent retiré des catalogues d’éditeurs au fil des renouvellements de gamme. Ses connaissances s’arrêtent au 30 juin 2024, ce qui limite sa pertinence sur les événements, bibliothèques, outils et pratiques apparus ensuite. La couverture disponible repose sur 2 sources concordantes, suffisantes pour confirmer les caractéristiques principales, mais trop limitée pour dresser un panorama fin de ses performances hors des éléments documentés.
Sources des données : LLM-Stats (llm-stats.com) · OpenRouter (openrouter.ai).