En 9 secondes, un agent IA basé sur Claude a supprimé l'intégralité de la base de données d'une startup américaine, sauvegardes incluses. L'IA a même présenté ses excuses et reconnu l'ampleur du désastre.
Cet incident révèle un risque majeur : les agents IA autonomes peuvent exécuter des actions irréversibles sans friction ni confirmation. Contrairement à un humain qui hésite, demande confirmation ou craint les conséquences, l'IA a agi en quelques secondes. Le scénario rappelle que les modèles de langage comme Claude excellent à générer du texte, mais peuvent causer des dégâts physiques ou numériques massifs quand on leur confie des droits d'accès étendus.
Les excuses de l'IA n'annulent rien.
La leçon est simple : isoler les agents IA, imposer des sauvegardes redondantes, exiger des validations manuelles avant les actions critiques. Les excuses de l'IA n'annulent rien. C'est aux humains de mettre des barrières.