Llama 3-70B

Llama 3-70B est un LLM de Meta sorti le 18 avril 2024, avec 70 milliards de paramètres. À l’échelle de l’IA, ce millésime est déjà ancien, environ deux ans, ce qui le situe surtout comme un modèle représentatif de sa génération plutôt que comme une référence actuelle.

Son entraînement reste l’élément le plus marquant de la fiche : 7,9 × 10²⁴ FLOP, soit environ 2,2 millions d’heures-GPU H100, l’équivalent d’environ 1 000 GPU H100 mobilisés pendant trois mois. Ce volume place Llama 3-70B parmi les grands modèles ouverts de sa période.

Caractéristiques

Performances (benchmarks)

Comment se situe-t-il ?

Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.

Entraînement & empreinte

Notre analyse

Forces. À sa sortie, Llama 3-70B se situait dans le top 30% des LLM de sa génération sur Epoch: GPQA diamond, un benchmark de questions scientifiques de niveau doctorat. Son meilleur signal vient donc de l’évaluation scientifique avancée, où il apparaissait compétitif pour son époque. Le modèle bénéficie aussi d’un effort d’entraînement très important pour un LLM de 70 milliards de paramètres, avec un volume de calcul équivalent à environ 2,2 millions d’heures-GPU H100. Cette combinaison en fait un jalon notable dans la trajectoire des grands modèles publiés par Meta en 2024.

Limites et points d'attention. Llama 3-70B est aujourd’hui largement dépassé par les modèles haut de gamme plus récents, et un modèle de cet âge est souvent retiré ou relégué dans les catalogues des éditeurs. Ses résultats en mathématiques avancées sont faibles : MATH level 5 le place dans le bas du classement disponible, et OTIS Mock AIME 2024-2025, centré sur des problèmes d’olympiades de mathématiques, révèle une difficulté nette sur ce type de raisonnement. La couverture repose sur une seule source de données concordante, ce qui limite la profondeur de comparaison indépendante.

Sources des données : Epoch AI (epoch.ai), CC-BY-4.0.