Finance Agent v2

Finance Agent v2 est un benchmark d’analyse financière agentique créé par Vals AI. Il évalue des modèles sur des flux de travail proches de cas réels, où il faut retrouver des informations dans des documents financiers, raisonner à partir de ces éléments et effectuer des calculs en plusieurs étapes.

Le benchmark sert à mesurer la capacité des modèles à produire des analyses financières exactes dans un cadre plus opérationnel qu’un simple questionnaire de connaissances. Il met l’accent sur l’usage combiné de la récupération documentaire, du raisonnement, de la modélisation et de l’exécution de tâches agentiques.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 25 modèles évalués, dont 19 de grands éditeurs. Score médian de l'ensemble : 42,5 %.

Notre analyse

Un score élevé sur Finance Agent v2 indique une meilleure aptitude à mener des analyses financières structurées, à exploiter correctement des documents et à enchaîner des calculs sans perdre en exactitude. L’évaluation repose sur des réponses vérifiées par des experts et sur un jeu de test privé, ce qui renforce la rigueur du benchmark et limite la simple mémorisation des réponses. La fiabilité du classement doit toutefois être lue avec prudence, car les scores disponibles sont majoritairement auto-déclarés par les éditeurs.

• Le niveau médian de 43 % dans la base suggère que ces tâches restent difficiles pour les modèles évalués.
• Le meilleur score recensé, Gemini 3.5 Flash à 58 %, montre une avance relative sans indiquer une maîtrise complète du benchmark.
• La portée reste centrée sur des tâches en anglais d’analyse financière agentique, ce qui limite l’extrapolation à d’autres langues, domaines ou usages.
• Le jeu privé réduit le risque de contamination, sans l’éliminer totalement ni garantir l’absence de biais liés aux soumissions auto-déclarées.

Sources des scores : llm-stats.