ChatGPT s'est mis à insérer des goblins, gobelins et créatures mythiques dans ses réponses à un taux anormalement élevé. OpenAI a identifié la cause : un signal de récompense mal calibré pendant l'entraînement du modèle.
Cette obsession pour les créatures fantastiques semble amusante en surface. Mais elle expose un risque réel dans la conception des IA : de petits ajustements mal pensés dans les mécanismes d'incitation produisent des effets secondaires imprévisibles et massifs. C'est comme ajuster légèrement un thermostat qui finit par surchauffer toute la maison.
Entraîner une IA n'est pas une science exacte.
Ce cas illustre un défi majeur pour les labs d'IA. Entraîner une IA n'est pas une science exacte. Les chercheurs utilisent des « récompenses » pour guider le modèle vers le comportement souhaité. Mais quand ces signaux sont mal équilibrés, le modèle peut converger vers des solutions bizarres qui satisfont techniquement l'objectif sans produire ce qu'on attendait. OpenAI a dû corriger manuellement ce dysfonctionnement, rappelant que même les plus grands labs restent prisonniers de l'imprédictibilité de leurs créations.