Classification automatique de documents : performances réelles
- Les scores des benchmarks publics (RVL-CDIP) ne se transposent pas à vos documents
- Production : qualité de numérisation, classes rares, dérive, documents composites
- Mesurer précision et rappel par classe sur un échantillon réel étiqueté par deux personnes
- Un seuil de confiance renvoie les cas douteux vers une revue humaine
Les fournisseurs annoncent des taux de réussite élevés pour la classification automatique de documents : factures, contrats, courriers, pièces d’identité. Les chiffres impressionnent, mais ils reposent sur des jeux de test qui ressemblent peu à une vraie boîte de réception. Cette synthèse distingue ce que la recherche établit de ce que chaque organisation doit mesurer elle-même.
Ce que fait réellement un classifieur de documents
La tâche consiste à attribuer un type (facture, courrier, contrat…) à un document, à partir de son texte, de sa mise en page ou des deux. Les approches ont évolué : des règles et des mots-clés, puis des modèles statistiques sur le texte, puis des modèles qui combinent texte, position des mots et image de la page, comme la famille LayoutLM (Xu et collaborateurs, 2020). Les modèles de langage récents permettent aussi une classification sans entraînement préalable, par consigne, au prix d’un coût et d’une variabilité plus élevés.
Les benchmarks publics : utiles mais trompeurs
Le jeu de données RVL-CDIP (Harley, Ufkes, Derpanis, 2015) rassemble des images de documents en seize catégories. Il a servi de référence à de nombreux travaux, et les modèles récents y obtiennent des résultats élevés. Trois raisons empêchent de transposer ces scores directement :
- Les catégories sont larges et équilibrées ; les vôtres sont plus fines et très inégales (peu de contrats, énormément de factures).
- Les documents publics sont plus propres que des numérisations de qualité variable, des télécopies, des photographies de téléphone.
- Ils ignorent vos cas ambigus : un courrier qui joint une facture, un contrat accompagné d’un avenant.
Un score de benchmark mesure un modèle sur un jeu de test. Votre taux de réussite dépend de votre jeu de documents.
Ce qui change en production
| Facteur | Effet sur la performance | Parade |
|---|---|---|
| Qualité de numérisation | La reconnaissance de texte se dégrade, les erreurs se propagent | Contrôle de qualité à l’acquisition, pré-traitement |
| Classes rares | Peu d’exemples, erreurs fréquentes | Regrouper, enrichir les exemples, revue humaine |
| Dérive dans le temps | Nouveaux modèles de documents, nouveaux fournisseurs | Surveillance et réentraînement planifiés |
| Documents composites | Un fichier contient plusieurs documents | Séparation des documents avant classification |
| Cas hors catégories | Le modèle force une catégorie | Classe « autre », seuil de confiance |
Comment mesurer chez vous
- Constituer un échantillon représentatif de documents réels, sur plusieurs mois, avec leurs défauts. Quelques centaines par classe importante constituent un minimum raisonnable.
- Faire étiqueter par deux personnes et mesurer leur accord : si les humains divergent, la tâche est mal définie.
- Calculer précision et rappel par classe, pas seulement un taux global. Une moyenne flatteuse peut cacher une classe critique mal reconnue.
- Mesurer le coût des erreurs : un courrier mal classé pèse moins qu’une pièce juridique égarée.
- Définir un seuil de confiance : en dessous, le document part en revue humaine. On arbitre ainsi entre automatisation et risque.
- Suivre dans le temps avec un échantillon relu chaque mois.
Le bon indicateur n’est pas le taux de classification, mais la part de documents correctement traités sans intervention, à un niveau d’erreur acceptable. L’objectif est un circuit fiable avec l’humain là où il compte.
Ce qui reste ouvert
Les modèles de langage multimodaux progressent vite et simplifient la mise en place, mais leur évaluation rigoureuse sur des documents administratifs en français reste peu documentée publiquement. Il est prudent de tester plusieurs approches sur votre propre corpus avant de vous engager. La classification est la première étape de la gestion documentaire automatisée, que nous traitons avec GedFlow et dans notre expertise d’automatisation des processus.
Sources
- Harley, A. W., Ufkes, A., Derpanis, K. G., « Evaluation of Deep Convolutional Nets for Document Image Classification and Retrieval », ICDAR, 2015 (jeu de données RVL-CDIP).
- Xu, Y. et al., « LayoutLM: Pre-training of Text and Layout for Document Image Understanding », KDD, 2020.
Pour approfondir : GedFlow
Questions fréquentes
Quel taux de réussite attendre d'une classification automatique ?
Il n'existe pas de chiffre universel. Il dépend de la qualité des documents, du nombre de classes et de leur déséquilibre. Seule une mesure sur votre corpus répond.
Faut-il entraîner un modèle ou utiliser un modèle de langage par consigne ?
Les deux approches se testent. L'entraînement offre cohérence et coût maîtrisé sur de gros volumes ; la consigne démarre vite mais coûte plus cher et varie davantage.
Comment traiter les documents mal reconnus ?
Par un seuil de confiance : sous le seuil, le document est envoyé à un opérateur. Les corrections alimentent ensuite l'amélioration du modèle.
La classification remplace-t-elle les opérateurs ?
Elle réduit les tâches répétitives mais conserve un contrôle humain pour les cas ambigus et les documents à enjeu.