Évaluation humaine des réponses IA : protocoles fiables
- L'accord inter-annotateurs est le premier indicateur de fiabilité d'une évaluation humaine
- Les biais des évaluateurs (position, longueur, autorité perçue) affectent systématiquement les scores
- L'évaluation humaine comparative (A vs B) est plus fiable que l'évaluation absolue (note de 1 à 5)
- L'évaluation humaine reste coûteuse et ne remplace pas les tests automatiques mais les complète
Un modèle de langage atteint 87 % sur un benchmark de question-réponse. Signifie-t-il que ses réponses seront utiles à vos utilisateurs ? Pas nécessairement. Les benchmarks automatiques mesurent ce qu’ils peuvent mesurer — la correspondance avec une réponse de référence, la fluidité syntaxique, la précision factuelle sur des questions fermées. Ils ne mesurent pas l’utilité pratique, la pertinence au contexte, ni la fiabilité de la calibration. L’évaluation humaine des réponses IA reste nécessaire, mais elle doit être conçue pour être fiable.
Le problème de fond : l’accord inter-annotateurs
Une évaluation humaine n’est fiable que si des évaluateurs indépendants arrivent à des conclusions cohérentes. L’accord inter-annotateurs, mesuré par des coefficients comme le kappa de Cohen ou le Krippendorff’s alpha, est le premier indicateur à examiner. Un coefficient inférieur à 0,6 signale que la tâche est ambiguë ou que les consignes sont insuffisantes — les scores moyens obtenus ne sont pas interprétables.
La littérature sur l’évaluation des systèmes de dialogue et des modèles de langage montre des accords inter-annotateurs souvent faibles pour les dimensions les plus importantes. Callison-Burch et al. (ACL 2007) avaient déjà montré des accords modestes pour l’évaluation de la qualité des traductions automatiques. Les travaux plus récents sur les RLHF (Reinforcement Learning from Human Feedback) rapportent des enjeux similaires pour les dimensions comme la « helpfulness » ou la « harmlessness », qui s’avèrent difficiles à définir précisément.
Avant de lancer une campagne d’évaluation humaine, réaliser un test pilote sur un sous-ensemble des données avec au moins deux évaluateurs indépendants. Calculer l’accord inter-annotateurs. Si le kappa de Cohen est inférieur à 0,6, réviser les consignes avant d’aller plus loin.
Les biais systématiques à contrôler
Les évaluateurs humains sont sensibles à des propriétés des réponses qui n’ont pas de rapport avec leur qualité réelle.
| Biais | Mécanisme | Contrôle |
|---|---|---|
| Biais de position | Les réponses présentées en premier tendent à être mieux notées | Randomiser l’ordre de présentation entre les évaluateurs |
| Biais de longueur | Les réponses plus longues sont perçues comme plus complètes | Tronquer les réponses à une longueur uniforme dans les pilotes de test |
| Biais d’autorité | Les réponses présentées comme venant d’un modèle réputé sont mieux notées | Anonymiser systématiquement la source |
| Biais de complaisance | Les réponses qui flattent ou approuvent l’évaluateur reçoivent de meilleures notes | Exclure la dimension de concordance des consignes |
| Dérive des standards | Les critères d’évaluation évoluent sur la durée d’une campagne | Intercaler régulièrement des réponses déjà annotées comme points d’ancrage |
Évaluation absolue versus comparative
Demander à un évaluateur de noter une réponse sur une échelle de 1 à 5 (évaluation absolue) génère des résultats très dépendants de la référence personnelle de l’évaluateur pour chaque point de l’échelle. Demander de choisir la meilleure réponse entre deux options (évaluation comparative ou préférence) produit en général des accords inter-annotateurs plus élevés, parce que la tâche est plus naturelle et moins tributaire d’une définition abstraite de la qualité.
Le format ELO, où chaque réponse est évaluée par comparaisons successives et reçoit un score relatif au fil des comparaisons, a été popularisé notamment par les travaux d’LMSYS avec le Chatbot Arena (2023). Il présente l’avantage d’être scalable et de produire un classement global sans nécessiter un accord absolu sur chaque évaluation individuelle.
Les pièges dans la conception des consignes
Les consignes doivent définir avec précision chaque dimension évaluée, avec des exemples concrets pour chaque niveau. « Qualité de la réponse » est trop vague. « Précision factuelle : la réponse affirme-t-elle des faits faux ou impossibles à vérifier ? » est exploitable. Chaque consigne devrait être accompagnée d’au moins deux exemples de cas limites et de la décision attendue.
Inclure des pièges de contrôle qualité — des questions pour lesquelles la bonne réponse est connue et sur lesquelles les évaluateurs doivent performer à un seuil minimal — permet de détecter les évaluateurs inattentifs ou en désaccord systématique avec les consignes.
- Callison-Burch C. et al., « Meta-Evaluation of Machine Translation Evaluation », ACL 2007.
- Ouyang L. et al., « Training language models to follow instructions with human feedback », NeurIPS 2022.
- Zheng L. et al., « Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena », NeurIPS 2023.
- Bai Y. et al., « Constitutional AI: Harmlessness from AI Feedback », Anthropic, 2022.
Notre offre IA d’entreprise intègre des protocoles d’évaluation humaine dans les cycles de mise en production des modèles. Pour les projets d’automatisation impliquant des boucles de rétroaction humaine, notre expertise en automatisation des processus couvre la conception des pipelines d’annotation.
Pour approfondir : IA d’entreprise
Questions fréquentes
Pourquoi les benchmarks automatiques ne suffisent-ils pas ?
Les benchmarks automatiques mesurent des propriétés comme la précision factuelle, la fluidité grammaticale ou la correspondance avec une réponse de référence. Ils ne mesurent pas des propriétés comme l'utilité pratique, la pertinence contextuelle, la calibration de l'incertitude ou la cohérence d'un long échange. Ces propriétés nécessitent un jugement humain.
Qu'est-ce que l'accord inter-annotateurs et pourquoi est-il important ?
L'accord inter-annotateurs (ou inter-rater reliability) mesure dans quelle mesure des évaluateurs indépendants arrivent aux mêmes conclusions. Il est exprimé par des coefficients comme le kappa de Cohen ou le Krippendorff's alpha. Un accord faible signifie que la tâche d'évaluation est ambiguë ou que les consignes sont insuffisantes — les scores obtenus ne sont pas interprétables.
Quelle est la différence entre une évaluation absolue et une évaluation comparative ?
Une évaluation absolue demande à l'annotateur de noter une réponse sur une échelle (par exemple de 1 à 5 pour la qualité). Une évaluation comparative (A vs B, ou classement de plusieurs réponses) demande de choisir la meilleure parmi plusieurs options. La recherche montre que l'évaluation comparative produit généralement des accords inter-annotateurs plus élevés, car elle évite l'interprétation personnelle des échelles.
Comment réduire les biais des évaluateurs ?
Plusieurs techniques existent : randomiser l'ordre de présentation des réponses pour éviter le biais de position, anonymiser la source (pour éviter le biais d'autorité perçue), limiter la longueur visible (pour éviter le biais de longueur), diversifier le panel d'annotateurs (profils, backgrounds, langues), et inclure des pièges de contrôle qualité (questions auxquelles la bonne réponse est connue).