Un chatbot puise ses réponses dans l’une de quatre sources : ce que son modèle a appris pendant l’entraînement, une recherche web faite au moment de la question, les documents de l’organisation qui l’a déployé, ou des réponses écrites à l’avance. Pour savoir où un chatbot récupère ses informations, il faut donc d’abord savoir de quel type de chatbot il s’agit.
La source détermine la fraîcheur de la réponse et la confiance qu’on peut lui accorder. Chacune a ses limites, et une même application peut en combiner plusieurs.
Lire également : Qui stocke les données Chatgpt
Données d’entraînement : la mémoire du modèle
Un modèle de langage comme celui de ChatGPT apprend sur un très vaste ensemble de textes (pages web publiques, livres, code informatique). Il ne relit pas ces textes quand on l’interroge : il calcule la suite de mots la plus probable à partir de ce qu’il a retenu. Pour comprendre l’intérêt de ces modèles, voir l’utilité des grands modèles de langage.
Un modèle entraîné seul ignore ce qui s’est passé après la fin de son corpus. Demandez-lui un événement récent, il répondra de façon vague, ou inventera un détail plausible. Cette limite se retrouve dans tous les modèles entraînés une fois pour toutes : leur savoir s’arrête à une date, que l’éditeur indique dans sa documentation.
A lire aussi : Est-ce que Translate Go est gratuit ?
Le modèle ne sait pas non plus citer précisément le texte d’où vient une information. Il a retenu des régularités de langage, pas un classement de sources, ce qui explique qu’il ne puisse pas toujours justifier sa réponse.
Recherche web en temps réel
Certains assistants, dont ChatGPT avec sa fonction de recherche, interrogent le web avant de répondre. Ils lisent quelques pages, rédigent une synthèse et affichent les liens utilisés. C’est ce qui leur permet de traiter l’actualité, un prix du jour ou une règle qui vient de changer. La qualité de la réponse dépend alors des pages retenues par le moteur : un résultat mal classé ou mal lu produit une synthèse bancale.
Les éditeurs d’IA utilisent des robots d’exploration distincts. Selon la documentation d’OpenAI, GPTBot collecte des contenus susceptibles de servir à l’entraînement, tandis qu’OAI-SearchBot alimente la recherche de ChatGPT. Un site peut bloquer chacun dans son fichier robots.txt : bloquer OAI-SearchBot le fait disparaître des réponses de recherche de ChatGPT.
Un troisième agent, ChatGPT-User, visite une page quand l’utilisateur le demande. OpenAI précise que les règles de robots.txt peuvent ne pas s’y appliquer.
Base documentaire de l’organisation : le RAG
Le chatbot d’une banque, d’une administration ou d’un site de commerce répond souvent à partir de ses propres documents : FAQ, fiches produits, conditions générales. La technique porte le nom de génération augmentée par récupération (RAG en anglais), introduite en 2020 par Patrick Lewis et ses collègues.
Elle fonctionne en quatre temps. Les documents sont découpés et indexés, le système retrouve les passages proches de la question, il les ajoute à la demande envoyée au modèle, puis le modèle rédige la réponse en s’appuyant dessus.
La réponse vaut ce que vaut la base : un document périmé ou absent donne une réponse fausse ou une absence de réponse.
Réponses écrites à l’avance
Les chatbots à règles, encore courants en service client, ne génèrent aucun texte. Ils associent des mots-clés à des réponses fixes ou suivent un arbre de décision : « choisissez 1 pour une facture, 2 pour un retour ».
Ce principe est ancien. ELIZA, écrit par Joseph Weizenbaum au MIT et publié en 1966, repérait des mots-clés dans la phrase de l’utilisateur, la découpait puis la réassemblait avec des tournures préprogrammées. Ses règles étaient rangées dans des scripts modifiables.
Vos conversations sont-elles une source ?
Les échanges avec un chatbot peuvent être conservés par l’éditeur et, selon les réglages du compte, servir à améliorer les versions suivantes du modèle. Ils ne sont pas consultés en direct pour répondre à un autre utilisateur. Les réglages de confidentialité de chaque service précisent s’il est possible de refuser cet usage.
Sur la conservation des échanges, le stockage des données de ChatGPT est détaillé dans un article dédié. La question de savoir qui peut lire vos questions y est liée.
Vérifier d’où vient une réponse de chatbot
Trois indices aident à identifier la source :
- Des liens ou des noms de documents cités indiquent une recherche web ou un RAG.
- Une réponse identique mot pour mot à chaque essai indique un script écrit à l’avance.
- Une ignorance d’un fait récent indique un modèle qui ne repose que sur son entraînement.
Quelle que soit la source, un modèle peut produire un fait plausible mais faux. Les chiffres, les dates et les noms se contrôlent donc auprès de la source d’origine, surtout dans un métier d’analyse, comme le montre la question de savoir si ChatGPT peut remplacer les analystes financiers.
Si le chatbot ne cite rien et répond sur un sujet pointu, la prudence s’impose. Un lien affiché ne prouve pas non plus que la page dit ce que le chatbot lui fait dire : il faut l’ouvrir.
