Deux responsables du ministère sud-africain des Affaires intérieures ont été suspendus après que des « hallucinations » d'IA aient contaminé des dossiers officiels de migration. Les systèmes d'IA utilisés pour traiter les demandes de visa et de passeport généraient des informations fictives sans détection.
Le problème : confier du triage administratif à un LLM, c'est comme laisser un stagiaire totalement défoncé signer des documents officiels. Le modèle invente des chiffres, des dates, des statuts — et personne dans la chaîne ne vérifiait avant de le passer au citoyen.
Le scandale force à mettre en place un audit complet.
Le scandale force à mettre en place un audit complet. Les systèmes restent en production mais avec une couche humaine obligatoire avant chaque décision. C'est l'approche « tape une vérif manuelle dessus » — coûteuse, mais légalement viable.
Impact : 18 mois pour auditer 2M+ de dossiers traités via IA. Estimé à 3-5M$ de frais de conformité et re-vérification. Les pays du Sud Global découvrent qu'on ne peut pas déployer des LLMs sur des processus critiques sans gouvernance.
La leçon : production sans human-in-the-loop n'est pas une économie, c'est une bombe comptable.