Votre pilote a tourné sur le cas standard

Votre entreprise, elle, tourne sur les exceptions — et quelqu'un a déjà mesuré l'écart

Votre pilote a marché. Il a traité les cas que vous lui avez donnés, la démonstration est passée, et tout le monde dans la salle a trouvé ça impressionnant. Six mois plus tard, c'est toujours un pilote.

Les explications habituelles sont la résistance au changement, la qualité des données, ou le modèle. Parfois c'est effectivement la réponse. Le plus souvent, le pilote a tourné sur le cas standard quand l'entreprise tourne sur les exceptions, et personne n'a mesuré l'écart avant de s'engager.

Ce n'est pas une affirmation molle sur la maturité organisationnelle. C'est de l'arithmétique, et ça a été mesuré à l'échelle d'un pays.

Le calcul que personne ne fait à voix haute

Prenez un processus de vingt étapes. Supposez chaque étape juste 95 % du temps — un chiffre dont la plupart des équipes se contenteraient volontiers.

De bout en bout, ce processus est correct 36 % du temps.

À 99 % par étape, c'est 82 %. À 99,5 %, 90 %. Une exploitation d'entreprise demande typiquement moins de 1 à 5 % d'échec, ce qui suppose une fiabilité par étape dans les neuf virgule quelque chose. La distance entre « impressionnant en démonstration » et « sûr en production » n'est pas un déficit d'enthousiasme. C'est plusieurs ordres de grandeur de fiabilité par étape, et elle se creuse en silence parce que personne ne voit jamais le chiffre à vingt étapes.

Les mesures disponibles disent que c'est exactement là que les systèmes cassent :

• Les agents qui réussissent une fois savent rarement recommencer. τ-bench (Sierra AI et Princeton, arXiv:2406.12045) note les agents sur l'état final d'une base de données plutôt que sur une grille, et introduit le pass^k — la probabilité de réussir k fois d'affilée. Verbatim : « même les agents d'appel de fonctions les plus avancés (comme gpt-4o) réussissent moins de 50 % des tâches, et sont très inconstants (pass^8 < 25 % dans le commerce). »
• C'est le multi-tour qui fait tomber. CRMArena-Pro (Salesforce AI Research, arXiv:2505.18878), construit sur 4 280 instances de tâches validées par des experts dans une organisation Salesforce réelle, mesure environ 58 % de réussite en un seul tour et près de 35 % en plusieurs. Notez qui publie : une recherche peu flatteuse pour la catégorie que vend son propre employeur.
• L'horizon annoncé est un pile ou face. METR (arXiv:2503.14499) a mesuré la durée de tâche qu'un modèle sait mener à bien, et trouve que l'horizon à 80 % de fiabilité est environ cinq fois plus court que celui à 50 %. Tous les titres « l'IA sait maintenant faire des tâches de plusieurs heures » citent le seuil pile ou face, pas celui qu'une direction des opérations signerait.

Lisez ça en regard de GDPval (OpenAI, arXiv:2510.04374), où des livrables produits en un coup et notés à l'aveugle par des professionnels d'environ quatorze ans d'expérience atteignent une qualité proche de l'expert. Les deux résultats sont vrais, et ensemble ils tiennent tout le schéma en deux phrases : un artefact, un coup, noté sur la qualité — c'est la démonstration. Une exécution répétée, multi-étapes, contre un état — c'est la production. Les modèles sont forts sur la première et faibles sur la seconde.

Quelle part du travail réel est de l'exception

Voici la partie qui décide si un processus vaut la peine d'être automatisé, et que presque personne ne mesure avant de commencer.

L'assurance santé, au volume de transactions d'un pays. L'indice CAQH rapporte les comptages annuels réels de transactions entre assureurs, soignants et chambres de compensation — des milliards, pas un sondage. Après une décennie d'obligations, d'incitations financières et de normalisation, les transactions mécaniques sont allées presque au bout : vérification d'éligibilité 96-99 % entièrement électronique, transmission des demandes 98 %. Celle qui demande du jugement n'a pas bougé. L'accord préalable reste à 31-37 %, l'un des plus bas de l'indice, avec environ trois points gagnés par an.

Même secteur, mêmes obligations, même argent, même décennie. Travail mécanique : 98 %. Travail de jugement : un tiers. C'est l'expérience naturelle la plus propre dont on dispose sur l'endroit où l'automatisation s'arrête, et la variable n'est ni la technologie ni la bonne volonté. C'est la présence d'un jugement dans l'étape.

La comptabilité fournisseurs. State of ePayables 2025 d'Ardent Partners (n=204) trouve 18,4 % de factures en exception et seulement 35,4 % de traitement direct. Les meilleures organisations tournent à 11,1 % d'exceptions contre 20,9 % pour les autres — mieux, pas résolu. La phrase à retenir est celle du rapport lui-même : « le même problème d'exceptions devra être résolu à nouveau (et encore). » Les répondants d'une enquête sur l'automatisation des paiements sont plus automatisés que le terrain : traitez 18,4 % comme un plancher.

La tarification en assurance vie. L'enquête américaine 2024 de Gen Re sur la souscription accélérée trouve que seulement 12 % des dossiers sont éligibles à une décision entièrement automatisée — et que 83 % de ceux-là passent quand même par un souscripteur humain. À l'intérieur même de la population facile et pré-qualifiée, cinq cas sur six touchent une personne.

Et la forme des données de processus réelles. Une analyse de 98 journaux d'événements publics (TU Munich, BPM 2025) trouve des processus réels comportant jusqu'à 22 632 variantes distinctes. Dans le journal Sepsis Cases, très utilisé, 1 050 traces produisent 845 variantes — soit environ 80 % de traces uniques. Quatre cas réels sur cinq suivent un chemin qu'aucun autre ne suit. Un pilote construit sur le chemin le plus fréquent n'a pas vu le processus.

Ce que ça coûte quand ça tourne mal

Moffatt c. Air Canada, 2024 BCCRT 149, est l'exemple documenté le plus net qui existe, et il est petit à dessein. L'agent conversationnel d'Air Canada a indiqué à un passager que les tarifs deuil pouvaient être réclamés rétroactivement sous 90 jours. La règle réelle dit le contraire. Air Canada a soutenu devant le tribunal que l'agent était « une entité juridique distincte, responsable de ses propres actes ». Réponse du tribunal : « Voilà une thèse remarquable… Peu importe que l'information provienne d'une page statique ou d'un agent conversationnel. » Déclaration inexacte par négligence. Dommages : 650,88 $.

Le système avait la forme générale de la règle juste et la condition de délai de l'exception fausse. C'est ça, le mode de défaillance. Pas une invention grossière que n'importe qui repérerait — une réponse plausible sur une dérogation rare, servie avec exactement la même assurance que les réponses correctes.

Ce qu'il faut en faire — et ce que personne ne peut encore prouver

Le principe de conception qui en découle n'est pas « mettre un humain dans la boucle » comme slogan. C'est une question sur les cas qui ont le droit d'être tranchés sans personne, à répondre avant la construction et non après.

Trois questions à poser sur un processus réel :

1. Quelle part du volume est de l'exception ? Pas estimée — comptée, dans les journaux. Si personne ne sait produire le chiffre, c'est déjà le premier constat.
2. Qu'arrive-t-il à l'exception quand le cas standard est automatisé ? Retirer les 70 % de routine ne laisse pas les 30 % restants inchangés. Ça retire le travail courant qui entretenait la compétence des gens sur le domaine, et il ne reste plus que la file des exceptions.
3. Combien de travail humain subsiste après le passage du système ? Si un senior doit reconstruire tout le dossier avant de valider ce que le système a produit, presque rien n'a disparu. C'est la mesure qui sépare un gain de productivité d'un théâtre de productivité, et elle n'est presque jamais prise.

Maintenant la partie honnête. La conclusion évidente de tout ceci serait que concevoir le chemin d'escalade en amont est ce qui sépare les déploiements qui marchent de ceux qui calent. Nous aimerions l'affirmer. Nous ne le pouvons pas : aucune étude ne relie la conception amont des exceptions au succès en production. Ce qui existe est une littérature de laboratoire sur l'apprentissage de la délégation, montrant qu'un passage de relais bien conçu peut battre l'humain comme le modèle pris séparément — dans une démonstration, un hybride assisté par preuves atteint 91,3 % contre 87,7 % pour le modèle seul. Cette littérature porte aussi deux constats qui coupent court à l'optimisme facile : la façon d'accompagner un humain traitant une file de cas délégués à faible confiance est très peu étudiée, et à mesure que les relecteurs progressent avec la pratique, certaines formes d'assistance cessent d'aider pour commencer à nuire.

Un principe de ces travaux survit au contact du terrain, et il vaut d'être emporté : router sur le rayon d'impact et la réversibilité, pas sur la confiance du modèle. La confiance verbalisée est un signal faible. « Quelle gravité si c'est faux, et peut-on revenir en arrière ? » est une question à laquelle l'entreprise répond sans l'aide du modèle.

Le cabinet qui disait déjà ça en 2016

Il existe un précédent utile, tiré de la vague d'automatisation précédente. Les recommandations RPA d'EY en 2016 — écrites par un cabinet qui vendait des déploiements RPA — disaient : « Automatiser 70 % d'un processus, la part de plus faible valeur, et laisser les 30 % de forte valeur aux humains est un bon objectif initial. »

Le premier fournisseur de la vague d'automatisation précédente recommandait d'en laisser environ un tiers aux personnes, comme objectif de conception, dès le premier jour. La vague qui a suivi a produit ce constat de Deloitte en 2018 : seules 3 % des organisations avaient dépassé les 50 robots, 33 % en étaient encore au pilote, et « la standardisation des processus est le premier obstacle à tous les stades. »

La technologie est bien meilleure aujourd'hui. La distribution du travail réel, elle, n'a pas changé.

La version en une ligne

Votre pilote a prouvé que le modèle sait faire le travail. Il n'a pas prouvé que votre processus est faisable. Ce sont deux affirmations différentes, et seule la seconde a un budget attaché.

Si vous avez un processus où l'IA devrait rapporter et ne rapporte pas, la première chose à mesurer n'est pas le modèle. C'est la part de votre volume qui n'a jamais ressemblé à la démonstration.