Évaluer un projet numérique après coup : les méthodes
- Évaluer la conduite du projet et évaluer ses effets sont deux exercices distincts
- Les six critères du CAD de l'OCDE offrent une grille complète et reconnue
- Sans situation de référence ni comparaison, aucun effet ne peut être attribué au projet
- Un déploiement progressif est une occasion d'évaluation à ne pas gâcher
Le projet est livré. Le comité de pilotage s’est réuni une dernière fois, l’équipe a été affectée à d’autres chantiers, le prestataire a facturé son solde. Deux ans plus tard, une question arrive, posée par une cour des comptes, un bailleur ou une nouvelle direction : le projet a-t-il servi ? Personne ne sait vraiment répondre. L’évaluation ex post est l’exercice qui permet de le faire. Elle est pratiquée depuis longtemps dans l’aide au développement et l’évaluation des politiques publiques ; le numérique l’emprunte encore rarement. Cette synthèse présente les méthodes disponibles, leurs exigences et leurs limites.
Bien conduit ou utile : deux questions différentes
La plupart des bilans de projets numériques répondent à la première question : le projet a-t-il respecté son calendrier, son budget, son périmètre ? C’est le contrôle de la conduite. Il est nécessaire et ne dit rien des effets. Un portail livré à temps peut n’être utilisé par personne ; un projet en retard peut avoir transformé un service.
L’évaluation ex post porte sur ce second registre : ce qui a changé pour les usagers, les agents, l’organisation, et ce que ces changements doivent au projet. Elle est rare dans le numérique pour des raisons connues. Le budget s’arrête à la livraison. Les indicateurs de départ n’ont pas été relevés. L’équipe s’est dispersée. Et un résultat décevant n’intéresse personne une fois les décisions prises.
D’autres domaines ont surmonté ces obstacles. Les bailleurs internationaux évaluent systématiquement leurs projets après achèvement ; à la Banque mondiale, un groupe indépendant (Independent Evaluation Group) valide les rapports de fin de projet. La Commission européenne a fait du principe « évaluer d’abord » une règle de ses lignes directrices pour une meilleure réglementation. Au Royaume-Uni, le Trésor publie un guide de référence sur l’évaluation, le Magenta Book. Ces cadres s’appliquent sans difficulté à un projet numérique.
Six critères pour une grille complète
La grille la plus utilisée est celle du Comité d’aide au développement de l’OCDE, révisée en 2019. Elle propose six critères, que l’on peut traduire ainsi pour un projet numérique.
Pertinence : le projet répondait-il à un vrai besoin des usagers et de l’organisation, et y répond-il encore ? Cohérence : s’articule-t-il avec les autres systèmes et politiques, ou a-t-il créé un îlot de plus ? Efficacité : a-t-il atteint ses objectifs (délais réduits, démarches dématérialisées, erreurs évitées) ? Efficience : ces résultats ont-ils été obtenus à un coût raisonnable, comparé à d’autres options ? Impact : quels effets plus larges, prévus ou non, positifs ou négatifs, en particulier pour les publics éloignés du numérique ? Viabilité : le service fonctionne-t-il encore, est-il maintenu, financé, compris par ceux qui l’exploitent ?
La viabilité mérite une attention particulière. Beaucoup de projets numériques produisent des effets réels la première année, puis se dégradent faute de maintenance, de formation des nouveaux agents ou de budget de fonctionnement. Une évaluation trop précoce passe à côté.
Les méthodes, de la plus simple à la plus robuste
Le cœur du problème est l’attribution : un délai qui baisse après la mise en service d’un outil a-t-il baissé grâce à l’outil, ou grâce au recrutement de deux agents la même année ? Les méthodes se distinguent par la façon dont elles répondent à cette question.
| Méthode | Ce qu’elle compare | Données nécessaires | Force | Limite |
|---|---|---|---|---|
| Avant / après | La situation avant et après le projet | Indicateurs relevés aux deux moments | Simple, peu coûteuse | Attribue au projet tout ce qui a changé entre-temps |
| Séries temporelles interrompues | La tendance avant le projet et la rupture éventuelle après | Mesures régulières sur une longue période | Distingue une tendance préexistante d’un effet | Sensible aux événements simultanés |
| Groupe de comparaison | L’évolution des sites équipés et celle de sites comparables non équipés | Mêmes indicateurs sur les deux groupes | Isole l’effet propre du projet | Trouver des sites vraiment comparables |
| Déploiement échelonné | Les sites déjà équipés et ceux qui le seront plus tard | Calendrier de déploiement et mesures par site | Groupe de comparaison « gratuit » | Ordre de déploiement rarement aléatoire |
| Analyse de contribution | La chaîne causale attendue et les éléments qui la confirment ou l’infirment | Documents, entretiens, indicateurs | Applicable sans données de départ | Conclut sur une vraisemblance, pas une mesure |
| Analyse coûts-bénéfices | Les coûts complets et les bénéfices monétisés | Coûts réels, valorisation des gains | Répond à la question de l’efficience | Monétiser certains effets reste discutable |
L’analyse de contribution, formalisée par John Mayne au début des années 2000, mérite d’être mieux connue dans le numérique. Elle part de la « théorie du changement » du projet (si nous déployons cet outil, les agents gagneront du temps sur telle tâche, donc les délais baisseront) et vérifie, maillon par maillon, si les faits la confirment. Elle ne prouve pas un effet au sens statistique ; elle établit un faisceau d’indices solide, ce qui est souvent tout ce que permettent les données disponibles.
Le déploiement échelonné est l’occasion la plus souvent gâchée. Un service déployé commune par commune, ou agence par agence, crée naturellement un groupe de comparaison : les sites pas encore équipés. Il suffit de relever les mêmes indicateurs partout, dès le départ. Si l’ordre de déploiement peut être tiré au sort, la comparaison devient très solide.
Livrer à l’heure et dans le budget prouve qu’un projet a été bien conduit. Cela ne prouve pas qu’il a servi.
Mesurer quoi : des indicateurs qui existaient avant
Une évaluation n’est jamais meilleure que ses indicateurs, et un indicateur ne sert que s’il a été relevé avant le projet. Pour un service public numérique, le service numérique du gouvernement britannique a longtemps imposé quatre indicateurs à tous les services : le coût par transaction, la satisfaction des usagers, le taux d’achèvement des démarches et la part des démarches réalisées en ligne. Ils restent un bon socle, à compléter par les délais de traitement, le taux d’erreurs ou de dossiers incomplets, le temps des agents et l’accessibilité.
Deux précautions évitent les conclusions trompeuses. La première est de mesurer aussi ce qui se passe hors du canal numérique : un portail peut faire baisser les files d’attente et augmenter les appels téléphoniques. La seconde est de regarder les publics séparément : une moyenne qui s’améliore peut cacher une dégradation pour les personnes âgées ou mal équipées. Nous avons détaillé la mesure des processus dans notre guide sur les indicateurs de délai, de coût, de qualité et de satisfaction.
Une démarche en cinq temps
- Reconstituer la logiqueobjectifs, chaîne causale, hypothèses
- Fixer les questionsquelques critères, pas tous
- Rassembler les donnéesarchives, indicateurs, entretiens
- Compareravant, ailleurs, ou maillon par maillon
- Restituer et déciderpoursuivre, corriger, arrêter
La première étape est souvent la plus révélatrice. Reconstituer après coup ce que le projet était censé changer montre fréquemment que les objectifs n’étaient pas formulés, ou qu’ils ont dérivé en cours de route. Ce constat est en lui-même un résultat d’évaluation.
La dernière étape est celle qui donne son sens à l’exercice. Une évaluation qui ne débouche sur aucune décision (poursuivre, étendre, corriger, arrêter) est un coût sans contrepartie. Les meilleures évaluations sont conçues autour d’une décision à prendre.
Les biais à surveiller
Cinq biais reviennent dans la littérature d’évaluation, et le numérique n’y échappe pas.
L’évaluateur juge et partie : l’équipe du projet ou son prestataire évalue son propre travail. La sélection des succès : on évalue les projets dont on attend un bon résultat. L’attribution à la technique d’effets qui viennent de la réorganisation qui l’accompagnait, ou l’inverse. L’horizon trop court, qui saisit l’effet de nouveauté et rate la dégradation ultérieure. La moyenne qui masque les écarts entre publics, entre sites ou entre agents.
Aucun de ces biais n’est fatal s’il est nommé. Une évaluation honnête dit ce qu’elle ne peut pas établir.
Ce qu’il faut décider dès le lancement
La conclusion pratique tient en une phrase : l’évaluation ex post se prépare ex ante. Au lancement d’un projet, quatre décisions coûtent peu et changent tout : écrire la chaîne causale attendue, relever les indicateurs de départ, prévoir le calendrier de déploiement comme une occasion de comparaison, et réserver un budget et un évaluateur indépendant pour l’après.
Cette exigence d’indépendance est au cœur de notre expertise benchmark et appels d’offres, qui compare sans parti pris. Notre produit Gouvernance conserve la trace des décisions et de leurs motifs, matière première de toute évaluation. Pour comprendre pourquoi tant de grands projets dérivent avant même d’être évalués, voir notre synthèse sur les grands projets informatiques publics.
- OCDE, Comité d’aide au développement, Better Criteria for Better Evaluation (définitions révisées des critères d’évaluation), 2019.
- HM Treasury, The Magenta Book: Central Government guidance on evaluation, 2020.
- Commission européenne, lignes directrices et boîte à outils pour une meilleure réglementation (Better Regulation).
- Commission européenne, DG Politique régionale, Guide to Cost-Benefit Analysis of Investment Projects, 2014.
- J. Mayne, « Addressing attribution through contribution analysis: using performance measures sensibly », Canadian Journal of Program Evaluation, 2001.
- Banque mondiale, Independent Evaluation Group (IEG), méthodologie d’évaluation des projets achevés.
Questions fréquentes
Quand faut-il réaliser une évaluation ex post ?
Assez tard pour que les effets soient visibles, assez tôt pour que les données et les personnes soient encore disponibles. Pour un service numérique, une première évaluation entre un et deux ans après la mise en service est un repère raisonnable, complétée si besoin par une évaluation plus tardive de la durabilité.
Qui doit conduire l'évaluation ?
Idéalement une équipe qui n'a pas conduit le projet : une inspection, un service d'audit interne, un prestataire indépendant ou un organisme de recherche. L'équipe du projet reste indispensable pour fournir les données et le contexte, mais elle ne devrait pas juger son propre travail.
Peut-on évaluer un projet si rien n'a été mesuré avant ?
Oui, mais avec moins de certitude. On reconstitue la situation de départ à partir des archives (volumes, délais, réclamations, budgets), on interroge les agents et les usagers, et on recourt à des méthodes comme l'analyse de contribution, qui établissent un faisceau d'indices plutôt qu'une mesure.
Combien coûte une évaluation ex post ?
Le coût dépend de la méthode : une évaluation fondée sur des données existantes et des entretiens reste modeste, une évaluation avec enquêtes et groupe de comparaison l'est moins. Le plus coûteux est de devoir reconstituer après coup des données qu'il aurait suffi de collecter dès le lancement.