Confiance des utilisateurs dans l’IA : ce qui la construit
- La recherche distingue la confiance, une attitude, de la dépendance réelle, un comportement
- Sur-confiance et sous-confiance sont deux erreurs symétriques ; l'objectif est une confiance ajustée à la fiabilité réelle
- Les explications ne calibrent pas toujours la confiance ; elles peuvent même accroître la dépendance aveugle
- La confiance se mesure par le comportement : accepte-t-on autant les suggestions fausses que les justes ?
« Il faut que les équipes aient confiance dans l’outil. » La phrase revient dans presque tous les projets d’intelligence artificielle, et elle part d’une bonne intention. Elle repose pourtant sur un malentendu que la recherche sur les facteurs humains a documenté bien avant les modèles de langage : la confiance dans l’IA n’est pas une quantité qu’il faudrait maximiser. Trop forte, elle conduit à suivre le système quand il se trompe. Trop faible, elle fait ignorer le système quand il a raison. L’objectif utile est une confiance ajustée à ce que le système sait réellement faire.
Cet article fait le point sur ce que l’on sait de la construction de cette confiance, sur les leviers dont l’effet est établi ou discuté, et sur la manière de la mesurer dans une organisation.
Confiance et dépendance : deux choses différentes
La référence la plus citée sur le sujet est un article de John Lee et Katrina See, publié en 2004 dans la revue Human Factors. Il définit la confiance comme une attitude : l’attente qu’un agent, humain ou automatique, aidera à atteindre un objectif dans une situation d’incertitude. Cette attitude influence un comportement, la dépendance (reliance) : suivre ou non la recommandation, laisser ou non le système agir. Les deux ne coïncident pas toujours. On peut dire se méfier d’un outil et le suivre par commodité ; on peut dire lui faire confiance et vérifier tout ce qu’il produit.
Lee et See proposent surtout une notion qui structure toute la suite : la calibration. Une confiance est calibrée lorsqu’elle correspond à la fiabilité réelle du système, dans le contexte où il est utilisé.
Deux erreurs symétriques
Dès 1997, Raja Parasuraman et Victor Riley distinguaient, dans un article devenu classique, le mauvais usage de l’automatisation (s’y fier quand il ne le faudrait pas) et son abandon (ne pas s’en servir quand elle serait utile). Les deux erreurs ont été retrouvées avec les systèmes d’IA contemporains.
Côté sur-confiance, la littérature parle de biais d’automatisation : la tendance à accepter la proposition d’un système automatique sans la vérifier, ou à ne pas chercher d’autres informations quand le système n’a rien signalé. Une revue systématique publiée en 2012 par Kate Goddard et ses collègues dans le Journal of the American Medical Informatics Association a recensé ce phénomène dans l’aide à la décision clinique. Le règlement européen sur l’IA le nomme explicitement : son article 14, consacré au contrôle humain des systèmes à haut risque, demande que les personnes chargées de ce contrôle restent conscientes de la tendance à se fier automatiquement ou excessivement aux résultats produits.
Côté sous-confiance, Berkeley Dietvorst, Joseph Simmons et Cade Massey ont décrit en 2015 l’« aversion aux algorithmes » : dans leurs expériences, après avoir vu un algorithme de prévision se tromper, les participants préféraient s’en remettre à un humain, même moins performant. D’autres travaux nuancent ce constat. Jennifer Logg, Julia Minson et Don Moore ont observé en 2019 une « appréciation des algorithmes » : dans certaines tâches, les participants suivaient davantage un conseil présenté comme venant d’un algorithme que d’une personne. La réaction dépend de la tâche, de l’expertise de l’utilisateur et de ce qu’il a vu du système.
Pour une organisation, la leçon est double. On ne peut pas présumer l’attitude des utilisateurs : il faut l’observer. Et les deux erreurs coûtent : la première produit des décisions fausses avec une apparence de rigueur, la seconde fait payer un outil que personne n’utilise.
Les leviers : ce qui est établi, ce qui est discuté
Les leviers proposés pour « construire la confiance » n’ont pas tous le même effet sur la calibration. Le tableau résume ce que l’on peut raisonnablement en dire.
| Levier | Effet sur la calibration | Ce qu’il faut savoir |
|---|---|---|
| Retour sur les résultats | Plutôt favorable | Voir, au fil du temps, quand le système a eu raison ou tort ajuste la confiance à la réalité ; encore faut-il que ce retour existe et soit rapide. |
| Indicateur de certitude | Favorable dans plusieurs études | Afficher la confiance du système dans chaque proposition aide à décider où vérifier, si cet indicateur est lui-même fiable. |
| Explications | Discuté | Elles peuvent augmenter l’acceptation des recommandations fausses comme des justes ; leur utilité dépend de leur capacité à faire repérer les erreurs. |
| Formation aux limites | Favorable | Savoir dans quels cas le système est faible vaut mieux qu’une présentation de ses performances moyennes. |
| Possibilité de contester | Favorable | Un utilisateur qui peut corriger et signaler garde un rôle actif, ce qui limite la dépendance passive. |
| Responsabilité claire | Favorable | Savoir qui répond d’une décision influence le soin mis à la vérifier. |
La ligne sur les explications mérite un développement, car elle contredit une intuition répandue. En 2020, Yunfeng Zhang, Q. Vera Liao et Rachel Bellamy ont comparé l’effet d’un indicateur de confiance et d’explications sur la décision des utilisateurs : l’indicateur aidait à calibrer, les explications beaucoup moins. En 2021, Gagan Bansal et ses collègues ont observé que les explications augmentaient l’acceptation des recommandations de l’IA, qu’elles soient justes ou non, sans améliorer la performance de l’équipe humain-machine. Une explication convaincante n’est pas une explication utile.
Ce que demandent les cadres de référence
Les cadres institutionnels ont intégré ces résultats, au moins dans leur vocabulaire. Les lignes directrices du groupe d’experts de haut niveau de la Commission européenne pour une IA digne de confiance, publiées en 2019, posent sept exigences, dont le contrôle humain, la transparence et la responsabilité. Le cadre de gestion des risques de l’IA du NIST, publié en 2023, décrit les caractéristiques d’un système digne de confiance : valide et fiable, sûr, sécurisé et résilient, responsable et transparent, explicable et interprétable, respectueux de la vie privée, équitable.
Ces cadres parlent de systèmes « dignes de confiance », pas de systèmes « auxquels on fait confiance ». La nuance est importante : la première expression porte sur les qualités du système, la seconde sur l’attitude des utilisateurs. Un système peut être digne de confiance et mal utilisé.
Mesurer la confiance plutôt que la supposer
Les questionnaires de confiance ont leur intérêt, mais la mesure la plus parlante est comportementale. Pendant un pilote, on conserve trois informations pour chaque cas : la proposition du système, la décision finale de l’utilisateur, et, sur un échantillon, une vérification indépendante de la bonne réponse. On peut alors calculer deux taux simples : la part des propositions justes acceptées, et la part des propositions fausses acceptées.
Si le second est proche du premier, les utilisateurs ne distinguent pas les bonnes propositions des mauvaises : la confiance n’est pas calibrée, quel que soit le niveau de satisfaction déclaré. Si les deux sont faibles, l’outil n’est pas utilisé. L’écart entre les deux taux est l’indicateur à suivre ; il se dégrade souvent avec le temps, à mesure que l’habitude remplace la vigilance.
Cette mesure s’intègre sans difficulté au pilote borné, sur données réelles, que décrit notre dossier sur l’automatisation des processus. C’est aussi l’un des indicateurs que nous proposons de suivre lorsqu’un outil d’IA d’entreprise passe du pilote à l’usage courant.
Limites
Une grande partie des études citées repose sur des expériences en laboratoire, avec des tâches simplifiées et des participants qui ne portent pas la responsabilité réelle de la décision. Leurs résultats indiquent des tendances, pas des lois. Les modèles de langage posent en outre une difficulté nouvelle : leur fluidité donne une impression de compétence qui ne dépend pas de leur exactitude, et l’on manque encore de travaux de terrain longs sur la manière dont cette fluidité influence la calibration. Enfin, la confiance d’une équipe n’est pas la somme des confiances individuelles : la culture de l’organisation, la pression du volume et la façon dont les erreurs sont traitées comptent autant que l’interface.
- John D. Lee et Katrina A. See, « Trust in Automation: Designing for Appropriate Reliance », Human Factors, 2004.
- Raja Parasuraman et Victor Riley, « Humans and Automation: Use, Misuse, Disuse, Abuse », Human Factors, 1997.
- Kate Goddard, Abdul Roudsari et Jeremy C. Wyatt, « Automation bias: a systematic review of frequency, effect mediators, and mitigators », Journal of the American Medical Informatics Association, 2012.
- Berkeley J. Dietvorst, Joseph P. Simmons et Cade Massey, « Algorithm aversion: People erroneously avoid algorithms after seeing them err », Journal of Experimental Psychology: General, 2015.
- Jennifer M. Logg, Julia A. Minson et Don A. Moore, « Algorithm appreciation: People prefer algorithmic to human judgment », Organizational Behavior and Human Decision Processes, 2019.
- Yunfeng Zhang, Q. Vera Liao et Rachel K. E. Bellamy, « Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making », conférence ACM FAT*, 2020.
- Gagan Bansal et al., « Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance », conférence ACM CHI, 2021.
- Règlement (UE) 2024/1689 sur l’intelligence artificielle, article 14 ; groupe d’experts de haut niveau sur l’IA, lignes directrices en matière d’éthique pour une IA digne de confiance, 2019 ; NIST, AI Risk Management Framework 1.0, 2023.
Pour approfondir : IA d’entreprise · Automatisation des processus
Questions fréquentes
Pourquoi les utilisateurs se méfient-ils de l'IA même quand elle est fiable ?
Plusieurs travaux montrent qu'après avoir vu un algorithme se tromper, les personnes ont tendance à lui retirer leur confiance plus vite qu'elles ne le feraient pour un humain qui commet la même erreur. Le contexte compte aussi : la méfiance est plus forte pour les décisions jugées subjectives ou très personnelles.
Expliquer les décisions de l'IA augmente-t-il la confiance ?
Souvent, oui, mais pas forcément dans le bon sens. Certaines études ont observé que les explications augmentaient l'acceptation des recommandations, y compris quand elles étaient fausses. Une explication utile aide l'utilisateur à repérer les cas où le système se trompe ; une explication qui rassure sans permettre ce tri peut aggraver la dépendance aveugle.
Comment savoir si nos équipes font trop confiance à un outil d'IA ?
En comparant leur comportement face aux suggestions justes et face aux suggestions erronées. Si le taux d'acceptation est presque le même dans les deux cas, la confiance n'est pas calibrée. Cette mesure peut se faire pendant un pilote, en conservant les suggestions, les décisions finales et une vérification indépendante sur un échantillon.