Mesurer la satisfaction des usagers des services numériques publics
- Une seule méthode de mesure ne suffit pas : chacune voit une partie de l'expérience et en rate une autre
- Les enquêtes de fin de parcours surreprésentent les usagers qui ont réussi ; ceux qui abandonnent ne répondent pas
- Les indicateurs de parcours (abandon, délai, rappel au guichet) corrigent ce biais
- Avec 400 réponses, la marge d'erreur d'un taux de satisfaction est d'environ 5 points ; le suivi par segment demande davantage
Les administrations ont pris l’habitude d’afficher une note de satisfaction à la fin de leurs démarches en ligne. Le chiffre est facile à produire, facile à publier, et souvent flatteur. Il répond pourtant à une question étroite : parmi les personnes qui sont allées au bout et ont voulu répondre, combien se disent contentes ? Pour piloter, la question utile est plus large : le service fonctionne-t-il pour tous ceux qui en ont besoin ? C’est ce qu’il faut viser quand on cherche à mesurer la satisfaction des usagers des services numériques publics.
Ce que l’on cherche à savoir
La satisfaction est un concept composite. Les travaux de l’OCDE sur la confiance dans les institutions et la qualité des services publics, comme les référentiels d’expérience usager adoptés dans plusieurs pays, distinguent des dimensions voisines mais différentes :
- le résultat : l’usager a-t-il obtenu ce qu’il demandait ?
- l’effort : la démarche a-t-elle été simple, claire, rapide ?
- l’équité : le service est-il utilisable par tous, y compris par ceux qui ont peu d’aisance numérique ou un handicap ?
- la confiance : l’usager croit-il que ses données sont bien traitées et que sa demande sera honorée ?
Un dispositif de mesure sérieux couvre ces quatre dimensions. Mesurer seulement le sentiment général revient à observer un thermomètre sans chercher la cause de la fièvre.
Quatre méthodes, quatre angles
| Method | Ce qu’elle voit bien | Ce qu’elle rate |
|---|---|---|
| Enquête de fin de parcours | Le ressenti de ceux qui ont terminé, à chaud | Ceux qui ont abandonné ; les non-répondants |
| Enquête périodique auprès d’un échantillon | Une vue représentative, comparable dans le temps | Les détails d’un parcours précis ; coûteuse |
| Indicateurs de parcours (données d’usage) | Abandon, délais, étapes bloquantes, recours au guichet | Le pourquoi ; le ressenti |
| Avis spontanés et verbatims | Les irritants précis, dans les mots des usagers | Toute représentativité ; surreprésente les mécontents |
Aucune ne suffit. Chacune corrige un défaut des autres, à condition de les lire ensemble.
Le biais qui fausse le plus : celui du survivant
Une enquête proposée à la dernière page d’une démarche en ligne ne s’adresse qu’à ceux qui y sont arrivés. Les personnes qui ont renoncé en route, parce qu’un justificatif était introuvable ou qu’un message d’erreur était incompréhensible, ne voient jamais le questionnaire. Les résultats se trouvent mécaniquement tirés vers le haut, d’autant plus que le parcours est difficile.
Trois remèdes complémentaires :
- Mesurer l’abandon étape par étape. Le taux de sortie à chaque écran localise les blocages sans demander l’avis de personne.
- Solliciter ceux qui sortent. Une question courte à la fermeture ou lors d’un retour sur le site (« Qu’est-ce qui vous a empêché de terminer ? ») recueille la voix des absents.
- Relier avec le guichet et le téléphone. Le nombre de personnes qui appellent ou se déplacent après une démarche en ligne est un signal de défaillance, souvent plus honnête qu’une note.
La taille de l’échantillon : ce que dit l’arithmétique
Pour une proportion estimée sur un échantillon aléatoire, la marge d’erreur à 95 % de confiance vaut environ 1,96 × √(p(1−p)/n). Avec p proche de 0,5 et 400 réponses, cela donne près de 5 points de pourcentage : un taux de satisfaction de 80 % se lit alors « entre 75 et 85 % environ ». Avec 100 réponses, l’incertitude monte à près de 10 points.
Le calcul suppose un échantillon sans biais, ce qui est rarement le cas avec des questionnaires en ligne spontanés. Il sert surtout à une chose : empêcher de commenter une variation de deux points entre deux mois, qui est le plus souvent du bruit. Dès qu’on veut comparer des groupes (zones, âges, canaux), il faut compter 400 réponses ou plus par groupe, ce qui change le coût du dispositif.
Le score de recommandation (Net Promoter Score) vient du commerce. Dans le service public, l’usager n’a généralement pas le choix de son administration, et la question « recommanderiez-vous ce service ? » perd son sens. Préférer des questions sur le résultat obtenu et sur la facilité de la démarche.
Mesurer ceux qu’on ne voit pas
Le numérique public a une obligation d’inclusion : un service performant pour les usagers à l’aise en ligne et inutilisable pour les autres n’est pas un bon service. Les enquêtes en ligne ne les atteignent pas. Il faut aller les chercher :
- des questionnaires administrés au guichet, en mairie, dans les points d’accès et les espaces d’accompagnement ;
- des enquêtes téléphoniques sur un échantillon tiré des usagers de tous les canaux ;
- les retours des médiateurs et des accompagnants, qui voient les difficultés récurrentes ;
- le suivi de la part des démarches faites sur papier ou par un tiers.
Un dispositif minimal qui tient
Pour un service qui débute sa démarche de mesure, un socle raisonnable tient en quatre éléments : un taux de réussite du parcours, un délai médian de traitement, deux questions de fin de démarche (résultat obtenu, facilité) et un suivi du recours à d’autres canaux. Ajoutez une enquête annuelle sur échantillon, avec un volet pour les personnes éloignées du numérique.
Surtout, décidez d’avance de ce que les résultats feront changer : qui les lit, à quelle fréquence, quel seuil déclenche une action. Un indicateur que personne n’utilise pour décider est un coût. Notre approche pour les services d’état civil et de guichet unique est présentée sur la page guichet unique ; le diagnostic permet de cadrer la mesure sur vos propres parcours.
Sources
- OCDE, travaux sur la confiance dans les institutions publiques et la qualité des services publics (Government at a Glance, enquêtes sur les déterminants de la confiance).
- Formule de la marge d’erreur d’une proportion (intervalle de confiance normal), manuels de statistique d’enquête.
Pour approfondir : État civil
Questions fréquentes
Quel est le meilleur indicateur de satisfaction d'un service public numérique ?
Aucun indicateur unique. On combine un taux de réussite du parcours, un délai de traitement, une mesure déclarée de satisfaction et la part des usagers qui doivent recontacter l'administration.
Faut-il utiliser le Net Promoter Score dans le service public ?
C'est peu adapté : l'usager ne choisit pas son administration et ne la recommande pas. Une question sur la facilité de la démarche et sur le résultat obtenu est plus parlante.
Combien de réponses faut-il pour une enquête fiable ?
Pour une proportion estimée à 95 % de confiance, 400 réponses donnent une marge d'environ 5 points, à condition que l'échantillon ne soit pas biaisé. Pour comparer des groupes, il en faut sensiblement plus par groupe.
Comment mesurer la satisfaction des personnes éloignées du numérique ?
Par des canaux complémentaires : enquête au guichet ou par téléphone, retours des accompagnants et des médiateurs, et analyse des motifs de recours au papier.