Amazon ne veut plus présenter l’humain comme la réponse automatique aux risques de l’intelligence artificielle. Dans un entretien accordé à The Register, Eric Brandwine, ingénieur émérite et vice-président d’Amazon Security, soutient que la supervision humaine étape par étape n’est pas nécessairement le « standard d’or » que plusieurs entreprises imaginent lorsqu’elles déploient des agents IA.

Son argument est simple : dans des systèmes capables d’effectuer de nombreuses actions à la minute, demander à un humain d’approuver constamment chaque décision peut rapidement devenir contre-productif. Au début, l’employé reste attentif. Puis la répétition s’installe, la vigilance baisse et l’approbation finit par devenir un réflexe. Pour Brandwine, c’est précisément là que le modèle du « human-in-the-loop » atteint ses limites.

Cette position ne signifie pas qu’Amazon veut retirer toute responsabilité humaine de ses systèmes. L’entreprise défend plutôt une approche fondée sur l’imputabilité de bout en bout. Chaque agent IA interne disposerait d’un identifiant propre, et ses actions seraient associées à un employé ou à une responsabilité humaine identifiable. L’objectif n’est donc pas d’effacer l’humain, mais de déplacer son rôle : moins d’approbation manuelle à chaque étape, davantage de règles, de garde-fous, de suivi et d’audit.

Eric Brandwine appuie son raisonnement sur la « normalisation de la déviance », une notion popularisée par la sociologue Diane Vaughan dans ses travaux sur la catastrophe de la navette Challenger. Le phénomène décrit la manière dont une organisation peut en venir à accepter progressivement des écarts aux règles, tant qu’aucun incident grave ne survient. Dans le contexte de l’IA, le danger serait de créer une illusion de contrôle : un humain est officiellement dans la boucle, mais il n’a plus réellement la capacité cognitive ou opérationnelle de vérifier chaque décision.

L’exemple évoqué par Brandwine est celui des milieux où les alarmes se multiplient. À force d’entendre des alertes qui ne mènent à rien de grave, les humains finissent par y réagir moins rapidement. Transposé aux agents IA, le même mécanisme pourrait se produire avec des demandes d’approbation répétées, trop nombreuses et trop rapides.

Le débat dépasse Amazon. Google Cloud a déjà évoqué une cybersécurité de plus en plus menée par l’IA, sous supervision humaine, tandis qu’IBM insiste sur la responsabilité humaine à toutes les étapes du cycle de vie de l’IA. On voit donc émerger une distinction importante : l’humain ne disparaît pas, mais il n’est plus nécessairement placé dans chaque microdécision.

Cette évolution soulève toutefois une question délicate. Une IA qui agit plus vite que l’humain peut améliorer la productivité, mais elle peut aussi rendre les erreurs plus difficiles à détecter avant qu’elles ne produisent des effets concrets. La traçabilité et les politiques dynamiques ne remplacent pas automatiquement le jugement humain, surtout lorsque les conséquences touchent la sécurité, les infrastructures ou les clients.

Un rappel récent de Tesla illustre bien cette tension. Le constructeur a dû rappeler plus de 14 000 Model Y aux États-Unis en raison d’une étiquette de certification possiblement absente. Selon les documents déposés auprès de la NHTSA, le problème était lié à un outil automatisé de vision utilisé en usine, et Tesla a ensuite ajouté des vérifications manuelles. Ce cas ne concerne pas directement l’IA agentique d’Amazon, mais il rappelle qu’un contrôle automatisé peut échouer et que l’intervention humaine garde parfois une valeur très concrète.

Le véritable enjeu n’est donc pas de choisir entre l’humain et l’IA. Il est de déterminer où l’humain apporte réellement une valeur de jugement, de responsabilité et d’intervention. Dans les environnements rapides, l’approbation humaine répétée peut devenir une façade. Mais sans supervision claire, auditable et contestable, l’autonomie des agents IA peut aussi devenir un risque systémique.

Source : The Register

+++++++

Maintenant, vous pouvez vous assurer de ne rien manquer de mes publications dans vos recherches et de retrouver tout ce que j’ai écrit sur un sujet, simplement en indiquant à Google que Mon Carnet fait partie de vos sources de confiance. C’est simple, cliquez sur le bandeau…

+++++++

Du lundi au vendredi, Bruno Guglielminetti vous propose un regard sur l’essentiel de l’actualité numérique avec 120 secondes de Tech.

Ou encore…

Écoutez la plus récente édition de Mon Carnet,
le magazine hebdomadaire de l’actualité numérique.