nova-pro-v1
nova-pro-v1 est un LLM d’Amazon référencé dans Benchable avec une couverture limitée à une source de données concordante. Son profil se distingue surtout par des résultats élevés sur des tâches de classification, de connaissances générales, d’éthique et de résistance aux hallucinations.
nova-pro-v1 est un LLM d’Amazon référencé dans Benchable avec une couverture limitée à une source de données concordante. Son profil se distingue surtout par des résultats élevés sur des tâches de classification, de connaissances générales, d’éthique et de résistance aux hallucinations.
La fiche met en évidence un modèle plutôt solide sur des évaluations de référence généralistes, mais moins convaincant dès que les tâches demandent du code ou un suivi précis des consignes. Cette répartition donne une lecture utile de son positionnement réel.
Caractéristiques
| Caractéristique | Valeur |
|---|---|
| Type | Grand modèle de langage (LLM) |
| Éditeur | Amazon |
Performances (benchmarks)
| Benchmark | Score | Rang (LLM) | Source | Fiabilité |
|---|---|---|---|---|
| Benchable : Ethics (Baseline) | 99,0 % | 114ᵉ / 248 | benchable | ✅ Mesuré |
| Benchable : Email Classification (Baseline) | 99,0 % | 24ᵉ / 254 | benchable | ✅ Mesuré |
| Benchable : General Knowledge (Baseline) | 98,0 % | 143ᵉ / 250 | benchable | ✅ Mesuré |
| Benchable : Hallucinations (Baseline) | 96,0 % | 102ᵉ / 229 | benchable | ✅ Mesuré |
| Benchable : Coding (Baseline) | 84,0 % | 150ᵉ / 248 | benchable | ✅ Mesuré |
| Benchable : Instruction Following (Baseline) | 55,0 % | 158ᵉ / 252 | benchable | ✅ Mesuré |
| Benchable : Reasoning (Baseline) | 48,0 % | 194ᵉ / 239 | benchable | ✅ Mesuré |
| Benchable : Mathematics (Baseline) | 42,0 % | 187ᵉ / 217 | benchable | ✅ Mesuré |
Comment se situe-t-il ?
Le modèle (en orange) comparé aux meilleurs modèles « grand public » sur chaque dimension, et à ses voisins de classement.
Benchable : Ethics (Baseline)
Benchable : Email Classification (Baseline)
Coût & vitesse agentiques
| Indicateur | Valeur |
|---|---|
| Coût moyen par benchmark — Benchable | 0,03 $ |
| Latence moyenne par benchmark — Benchable | 2 min 23 s |
Coûts et durées réels mesurés en exécutant le modèle comme agent. PinchBench = un run complet de 147 tâches (harness OpenClaw) ; Benchable = moyenne par benchmark. Sources : PinchBench, Benchable.ai.
Notre analyse
Forces. nova-pro-v1 obtient son meilleur positionnement relatif sur Email Classification (Baseline), où il se situe dans le haut du tableau parmi les modèles évalués. Ethics (Baseline) et General Knowledge (Baseline) affichent aussi des scores bruts très élevés, ce qui indique un bon comportement sur des questions de conformité éthique et de connaissances générales dans ce cadre de test. Hallucinations (Baseline) reste également un point favorable, avec un résultat élevé et un classement situé dans la moitié supérieure, signe d’une capacité correcte à limiter les réponses inventées selon ce benchmark.
Limites et points d'attention. Les classements relativisent plusieurs scores bruts flatteurs : sur Ethics (Baseline) et General Knowledge (Baseline), nova-pro-v1 n’apparaît pas parmi les tout premiers malgré des pourcentages élevés. Coding (Baseline) place le modèle dans la seconde moitié du classement, ce qui limite son intérêt pour les tâches de programmation. Instruction Following (Baseline) constitue le signal le plus faible, avec un score nettement moins élevé et un rang bas, indiquant des difficultés à suivre précisément des consignes structurées. La couverture limitée à une seule source impose aussi une lecture prudente des résultats.
Sources des données : Benchable.ai (benchable.ai).