Agents IA : comment les erreurs se propagent dans les tâches longues
- La fiabilité d'une tâche longue est, au mieux, le produit de la fiabilité de ses étapes
- Les travaux publiés montrent que le taux de réussite des agents baisse nettement avec la durée des tâches
- Quatre mécanismes dominent : hypothèse initiale erronée, sortie d'outil mal lue, dérive du contexte, auto-validation
- Les parades sont d'architecture : étapes courtes et vérifiables, contrôles externes, validation humaine avant l'irréversible
Un agent IA reçoit une consigne : rapprocher les factures du trimestre des bons de commande, signaler les écarts et préparer les relances. À la troisième étape, il lit mal une colonne de montants, hors taxes au lieu de toutes taxes comprises. Les quarante étapes suivantes sont exécutées avec soin. Le rapport final est clair, cohérent, bien rédigé, et faux. Cet exemple imaginaire illustre le phénomène que les équipes découvrent en passant des démonstrations aux usages réels : les agents IA et les erreurs en cascade. Plus la tâche est longue, plus une erreur précoce a de chances de se propager sans être vue.
Cette synthèse rassemble ce que l’on sait du phénomène à la fin du premier semestre 2025 : l’arithmétique qui le sous-tend, ce que mesurent les travaux publiés, les mécanismes observés, et les parades qui fonctionnent.
L’arithmétique de la cascade
Le point de départ est un calcul élémentaire. Si une tâche comporte n étapes et que chacune réussit avec une probabilité p, la tâche entière ne réussit qu’avec une probabilité de p puissance n, à condition qu’une seule erreur suffise à compromettre le résultat.
Ce modèle est volontairement simpliste. Dans la réalité, toutes les erreurs ne sont pas fatales (certaines sont rattrapées), et elles ne sont pas indépendantes (une erreur en entraîne d’autres, ce qui aggrave le tableau, ou bien les étapes difficiles sont concentrées, ce qui l’améliore). Mais il rappelle une évidence que les démonstrations font oublier : un taux de réussite élevé sur une étape ne dit presque rien de la fiabilité d’un enchaînement.
Ce que mesurent les travaux publiés
Plusieurs travaux récents permettent de dépasser le calcul théorique.
En mars 2025, l’organisme de recherche METR a publié une méthode pour mesurer la longueur des tâches que les modèles accomplissent de façon autonome, exprimée en temps qu’il faudrait à un professionnel humain. Ses résultats montrent que le taux de réussite des modèles décroît nettement avec la durée de la tâche, et que l’horizon de tâche atteint avec une chance sur deux de succès progresse rapidement d’une génération de modèles à l’autre, avec un doublement estimé à environ sept mois sur les années étudiées. Les auteurs soulignent eux-mêmes les limites de l’exercice : des tâches surtout logicielles, dans des environnements contrôlés.
Le banc d’essai τ-bench, publié en 2024, a mis en évidence un autre aspect : la régularité. En demandant au même agent de réussir plusieurs fois de suite la même tâche de service client (métrique dite « pass^k »), ses auteurs ont montré que la réussite répétée chute bien plus vite que la réussite ponctuelle. Pour une entreprise, c’est la mesure qui compte : un processus automatisé s’exécute des centaines de fois.
Enfin, une étude de 2025 consacrée aux systèmes à plusieurs agents (Cemri et al., université de Berkeley) a proposé une classification de leurs défaillances, construite à partir de l’analyse de nombreuses exécutions. Elle distingue trois grandes familles : les défauts de spécification et de conception, les désalignements entre agents, et les défauts de vérification et de terminaison. Une large part des échecs observés ne tient pas à la capacité des modèles, mais à l’organisation du système.
Quatre mécanismes de propagation
L’hypothèse initiale erronée. L’agent interprète la consigne d’une certaine façon dès le début, et tout le reste du travail s’y conforme. Plus il avance, plus l’hypothèse est « confirmée » par le travail déjà accompli. C’est le cas de la colonne mal lue : rien, ensuite, ne vient la contredire.
La sortie d’outil mal interprétée. Un appel à une base de données renvoie une liste vide parce que la requête était mal formée ; l’agent en conclut qu’il n’y a pas de données. Une page web renvoie une erreur ; l’agent poursuit avec ce qu’il croit savoir. Les erreurs silencieuses, qui ne déclenchent aucune alerte, sont les plus dangereuses.
La dérive du contexte. Sur une tâche longue, le contexte de travail s’allonge : historique, résultats intermédiaires, documents. Les travaux sur les contextes longs, comme l’étude « Lost in the Middle » (Liu et al., 2023), ont montré que les modèles exploitent moins bien l’information située au milieu d’un long contexte. Une contrainte énoncée au début de la consigne peut ainsi être perdue de vue au fil de l’exécution.
L’auto-validation. Demander à l’agent de relire son travail semble une parade naturelle. Les travaux publiés sur l’autocorrection, notamment ceux de Huang et al. (2023), montrent pourtant que, sans information extérieure, un modèle corrige mal ses propres erreurs de raisonnement, et peut même dégrader des réponses justes. Le relecteur partage les angles morts de l’auteur.
Une erreur qui se propage n’est pas une erreur plus grave : c’est une erreur que plus rien, dans le processus, n’était chargé de voir.
Les parades qui fonctionnent
Les réponses efficaces relèvent moins du choix du modèle que de l’architecture du processus. Le tableau associe à chaque mécanisme les contre-mesures les plus courantes et leur contrepartie.
| Mécanisme | Contre-mesure | Contrepartie |
|---|---|---|
| Hypothèse initiale erronée | Faire reformuler la consigne et valider le plan avant l’exécution ; découper en sous-tâches courtes | Une étape de validation de plus, souvent humaine |
| Sortie d’outil mal lue | Contrôles déterministes après chaque appel (format, nombre de lignes, valeurs attendues) ; échec explicite plutôt que silencieux | Code de contrôle à écrire et maintenir |
| Dérive du contexte | Contexte réinitialisé entre sous-tâches, avec un état intermédiaire structuré et vérifié | Conception plus soignée des étapes |
| Auto-validation | Vérification par un élément externe : test, règle métier, total de contrôle, second système, personne | Disposer d’une référence vérifiable |
| Action irréversible fondée sur une erreur | Validation humaine avant tout envoi, paiement, suppression ; droits limités au strict nécessaire | Délai, mais risque borné |
Le dernier point rejoint une recommandation constante des référentiels de sécurité. La liste des dix principaux risques des applications fondées sur les grands modèles de langage, publiée par l’OWASP pour 2025, range ainsi parmi eux l’« agentivité excessive » : des agents dotés de plus de droits, de fonctions ou d’autonomie que leur tâche ne l’exige. Limiter ce qu’un agent peut faire limite ce qu’une erreur peut coûter.
Deux pratiques complètent l’architecture. La trace complète de chaque exécution (consigne, étapes, appels d’outils, résultats intermédiaires) permet de remonter à l’erreur d’origine au lieu de constater un résultat faux. L’évaluation répétée, sur le modèle de la métrique pass^k, mesure la fiabilité dans la durée plutôt que sur une démonstration réussie.
Ce que cela change pour un projet
Trois questions permettent de situer une tâche candidate à l’automatisation par un agent. Combien d’étapes enchaîne-t-elle sans contrôle possible ? Son résultat est-il vérifiable par une règle, un total, un test ? Ses actions sont-elles réversibles ? Une tâche courte, vérifiable et réversible peut être confiée largement à un agent. Une tâche longue, difficile à contrôler et irréversible doit être découpée, instrumentée et soumise à validation, ou rester humaine.
C’est la démarche que nous appliquons dans notre offre IA d’entreprise : des agents utiles, encadrés et audités, conçus étape par étape. Pour choisir entre agents, automatisation classique et approches mixtes, notre dossier sur l’automatisation des processus propose une grille de décision.
Les limites de ce que l’on sait
Les travaux cités portent surtout sur des tâches logicielles ou des scénarios simulés, souvent en anglais. Les tâches administratives ou métier réelles, avec leurs documents hétérogènes et leurs exceptions, sont peu étudiées publiquement. Les résultats évoluent vite avec chaque génération de modèles, et les chiffres d’un banc d’essai vieillissent en quelques mois. Ce qui semble durable, en revanche, c’est la structure du problème : la multiplication des risques le long d’un enchaînement, et l’intérêt de points de contrôle extérieurs à l’agent.
- METR, Kwa T. et al., « Measuring AI Ability to Complete Long Tasks », mars 2025.
- Yao S. et al., « τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains », 2024.
- Cemri M. et al., « Why Do Multi-Agent LLM Systems Fail? », 2025.
- Liu N. F. et al., « Lost in the Middle: How Language Models Use Long Contexts », 2023.
- Huang J. et al., « Large Language Models Cannot Self-Correct Reasoning Yet », 2023.
- OWASP, Top 10 for LLM Applications, édition 2025.
Pour approfondir : IA d’entreprise · Automatisation des processus
Questions fréquentes
Un modèle plus puissant suffit-il à éliminer les erreurs en cascade ?
Non. Un modèle plus capable réduit le taux d'erreur par étape et allonge la durée des tâches qu'il mène à bien, mais la logique multiplicative demeure : sur une tâche assez longue, les erreurs finissent par s'accumuler. La conception du processus reste déterminante.
Peut-on demander à l'agent de vérifier lui-même son travail ?
C'est utile pour certaines erreurs de forme, mais les travaux publiés montrent que l'autocorrection sans information extérieure améliore peu le raisonnement, et peut même dégrader des réponses justes. Une vérification efficace s'appuie sur un élément externe : un test, une règle métier, un total de contrôle, un second système ou une personne.
Les systèmes à plusieurs agents sont-ils plus fiables ?
Pas automatiquement. Ils permettent de séparer les rôles (exécuter, vérifier), mais ils ajoutent des défaillances propres : consignes mal transmises, agents qui ignorent les résultats des autres, conditions d'arrêt mal définies. Leur fiabilité dépend de la conception des échanges et des contrôles.
Quelles tâches confier à un agent IA aujourd'hui ?
Celles dont les étapes sont courtes, dont le résultat est vérifiable, et dont les actions sont réversibles ou soumises à validation. Plus une tâche est longue, difficile à contrôler et irréversible, plus elle doit être découpée et encadrée.