Les modèles IA de pointe citent régulièrement des passages de documents qui ne soutiennent absolument pas leurs réponses. Le problème : même quand la conclusion est correcte, les preuves invoquées sont bidons. Les chercheurs de l'université de Pékin appellent ça « l'hallucination d'attribution », et c'est un vrai risque dans les domaines régulés comme le droit ou la médecine où traçabilité rime avec responsabilité.
GPT, Gemini et autres modèles leaders font tous face au même souci. Ils produisent une réponse valable mais la soutiennent par des citations qui ne matchent pas le texte original. C'est pire qu'une simple erreur : c'est de la confabulation sourcée, avec un vernis d'authenticité qui rend la chose plus dangereuse.
Les juristes vont se faire piéger, les doctors aussi..
Pourquoi c'est un problème ? Parce qu'en droit, en médecine, en finance, la source c'est la preuve. Si une IA dit « l'article X prétend que Y » alors qu'il ne le dit pas, on a un système qu'on peut pas vérifier ni challenger. Les juristes vont se faire piéger, les doctors aussi.
La riposte vient de Pékin : le benchmark CiteVQA teste enfin ça de manière systématique. C'est le premier outil pour mesurer précisément à quel point les modèles inventent leurs références. Résultat : on a du boulot.