Email Classification (Baseline)

Benchable : Email Classification (Baseline) est un benchmark public conçu par Benchable pour évaluer une tâche simple et fréquente : attribuer à un email une seule catégorie parmi six options prédéfinies, comme Spam, Business, Personnel, Newsletter, Service client ou Transactionnel.

Il sert de test de base pour mesurer la capacité d’un modèle à reconnaître l’intention générale d’un message et à produire exactement le nom de catégorie attendu. Sa validation repose sur une correspondance de libellé, insensible à la casse, ce qui en fait un repère direct pour la classification d’emails.

Carte d'identité

Classement des modèles (top 20)

Classement établi sur 255 modèles évalués, dont 151 de grands éditeurs. Score médian de l'ensemble : 98,0 %.

Notre analyse

Un score élevé sur Benchable : Email Classification (Baseline) indique qu’un modèle sait associer de manière fiable des emails en anglais à des catégories courantes, avec une sortie conforme au libellé attendu. La métrique, fondée sur le taux de réussite par étape, favorise les réponses précises et non ambiguës. Les scores de cette base sont au moins partiellement mesurés par un tiers, ce qui apporte davantage de solidité qu’un classement uniquement auto-déclaré.

Le benchmark présente toutefois des limites importantes. Avec 100 cas de test et un score médian de 98 % parmi les modèles évalués, l’épreuve apparaît très saturée : elle distingue mal les modèles déjà performants sur des tâches de classification simples. La portée reste limitée à l’anglais et à six catégories fixes, sans indication sur des emails ambigus, multilingues ou hors distribution. Le meilleur résultat atteint 100 %, ce qui montre surtout que certains modèles maîtrisent parfaitement ce format, mais ne suffit pas à conclure à une compréhension générale de la messagerie ou du contexte métier.

Sources des scores : benchable.