Annotation de données : comparer les outils
L'annotation de données est le goulot d'étranglement de la plupart des projets IA supervisés. Choisir le bon outil réduit le temps passé sur cette étape et améliore la cohérence entre annotateurs.
Un projet de classification automatique de courriers administratifs : deux mois de développement du modèle, une semaine à définir le schéma d’annotation, puis un blocage de six semaines pour annoter les 8 000 exemples nécessaires à l’entraînement. Ce déséquilibre est courant. L’annotation est souvent sous-estimée dans la planification des projets IA supervisés, et le choix de la plateforme d’annotation peut multiplier ou diviser par deux le temps nécessaire.
Les types d’annotation et leurs exigences
Avant de choisir un outil, il faut clarifier le type d’annotation. Classification de texte (attribuer une catégorie à un document) et extraction d’entités nommées (identifier et étiqueter des fragments de texte) n’ont pas les mêmes exigences d’interface. La segmentation d’image, la détection d’objets par boîtes englobantes et la segmentation sémantique demandent des outils graphiques spécialisés. L’annotation audio (transcription, détection de locuteurs) est encore un cas à part.
La plupart des projets combinent plusieurs types d’annotation. Un projet de traitement du dossier médical peut mêler classification de document, extraction d’entités cliniques et annotation de relations entre entités.
Quatre outils représentatifs
Label Studio (Heartex) est une plateforme open source qui couvre pratiquement tous les types d’annotation : texte, image, audio, vidéo, séries temporelles. L’interface est configurable via un fichier XML qui décrit le schéma d’annotation. Il s’installe localement ou se déploie sur un serveur interne, ce qui est un avantage pour les données sensibles. Label Studio Enterprise ajoute la gestion des rôles, les workflows de validation et les intégrations ML pour l’assistance à l’annotation.
Prodigy (Explosion AI, les créateurs de spaCy) est un outil conçu autour de l’apprentissage actif : le modèle en cours d’entraînement sélectionne les exemples les plus informatifs à soumettre à l’annotateur, réduisant le nombre total d’annotations nécessaires. L’interface est minimaliste et rapide. Il est particulièrement adapté aux projets NLP en équipe réduite. C’est un outil commercial (licence par utilisateur) mais sans abonnement mensuel.
Labelbox est une plateforme SaaS orientée entreprise qui couvre tous les types d’annotation avec une interface soignée et des fonctionnalités avancées : gestion des lots, contrôle qualité, workflows de révision, intégrations avec les plateformes d’entraînement (Vertex AI, SageMaker). Elle propose des fonctionnalités d’annotation assistée par IA. Son modèle de prix est basé sur le volume de données et les fonctionnalités, ce qui peut rendre les coûts élevés à grande échelle.
Scale AI combine une plateforme d’annotation (Scale Nucleus) et un service d’annotation externalisé par des annotateurs humains. C’est une option pour les projets qui ont besoin de volumes importants rapidement. La confidentialité des données est à vérifier contractuellement, et le modèle de prix est élevé pour les volumes importants.
Comparer sur six critères
| Critère | Label Studio | Prodigy | Labelbox | Scale AI |
|---|---|---|---|---|
| Types de données | All | NLP, image basique | All | All |
| Hosting | Local ou cloud | Local | SaaS | SaaS |
| Apprentissage actif | Avec ML backend | Natif | Assistance IA | Assistance IA |
| Gestion des équipes | Version Enterprise | Limitée | Avancée | Avancée |
| Confidentialité données | Maîtrisée (local) | Maîtrisée (local) | À vérifier (cloud) | Contrat à négocier |
| Coût d’entrée | Gratuit (open source) | Licence fixe | Abonnement | À l’acte + abonnement |
Le format d’export est un critère décisif souvent négligé. Vérifier que l’outil exporte dans le format attendu par la bibliothèque d’entraînement (CoNLL pour la NER, COCO pour la détection d’objets, etc.) avant toute décision. Une conversion de format en milieu de projet est une source de bugs et de pertes de données.
Notre offre IA d’entreprise couvre la constitution de corpus d’entraînement, le choix des outils d’annotation et la mise en place des processus de contrôle qualité. Pour les projets qui associent annotation et déploiement de modèles, notre expertise en automatisation accompagne la chaîne complète.
Pour approfondir : IA d’entreprise
Questions fréquentes
Faut-il annoter soi-même ou externaliser ?
Pour des données sensibles (données médicales, documents internes, données personnelles), l'annotation interne est préférable ou obligatoire selon les réglementations applicables. Pour des données publiques ou génériques, l'externalisation via une plateforme spécialisée peut accélérer la constitution du corpus. Les deux approches se combinent : l'équipe interne définit les règles et valide un échantillon, la foule annote la masse.
Comment mesurer la qualité des annotations ?
Par l'accord inter-annotateurs (IAA), calculé selon le type de tâche. Le kappa de Cohen est standard pour la classification ; l'IoU (intersection over union) est utilisé pour la détection d'objets. Un IAA faible indique souvent une consigne d'annotation ambiguë, pas un problème d'annotateurs.
Quelle taille d'ensemble d'entraînement est nécessaire ?
Cela dépend de la complexité de la tâche, de la variabilité des données et de l'architecture du modèle. Les techniques d'apprentissage actif permettent de sélectionner les exemples les plus informatifs à annoter, réduisant le nombre total d'annotations nécessaires. Il n'y a pas de règle universelle.
Les modèles de fondation réduisent-ils le besoin d'annotation ?
Partiellement. Les modèles pré-entraînés sur de grandes quantités de données réduisent le besoin d'annotations pour l'adaptation (fine-tuning) par rapport à un entraînement from scratch. Mais pour des tâches très spécifiques ou des données du domaine peu représentées dans les données de pré-entraînement, l'annotation reste nécessaire.