Une nouvelle étude remet en question la capacité des grands modèles de langage à véritablement s'introspécter. Alors que plusieurs recherches affirmaient que les LLM détectaient leurs propres états internes, cette analyse propose une distinction cruciale : celle entre introspection véritable et simple reconnaissance de motifs basée sur des indices superficiels.
Les chercheurs réexaminent deux paradigmes d'évaluation récents. Dans le premier, on demande aux modèles de détecter si leurs états internes ont été altérés. Résultat: ils échouent à distinguer de manière fiable ces modifications. Le deuxième paradigme teste leur capacité à rapporter des doutes ou des changements d'état internes, avec des résultats tout aussi mitigés.
Les chercheurs réexaminent deux paradigmes d'évaluation récents.
Cette critique s'appuie sur les leçons de la recherche sur la métacognition humaine, qui montre qu'il est extrêmement difficile de prouver l'introspection véritable par le comportement seul. Les modèles pourraient simplement reproduire des patterns textuels sans accès réel à leurs mécanismes internes.
L'enjeu n'est pas académique: si les LLM ne s'introspectent pas vraiment, cela remet en question nos hypothèses sur leur fiabilité et nos attentes quant à leur transparence. Les développeurs doivent cesser de supposer que les modèles rapportent fidèlement leurs limites.