Imaginez un instant que votre mémoire puisse être piratée et modifiée à votre insu. C’est le cauchemar que vient de révéler Johann Rehberger, chercheur en sécurité, concernant l’IA conversationnelle ChatGPT. Une vulnérabilité critique permettrait à des attaquants d’injecter de faux souvenirs et des instructions malveillantes dans la mémoire à long terme du chatbot, ouvrant la voie à de potentielles exfiltrations massives de données utilisateurs.
ChatGPT vulnérable à l’injection d’invites
La faille mise en lumière par Johann Rehberger se situe au niveau de la mémoire à long terme de ChatGPT. Via une technique baptisée injection d’invite indirecte, un pirate serait en mesure d’incorporer de fausses données et instructions dans les paramètres mémoire de l’IA, en exploitant des sources non fiables comme des emails, blogs ou documents piégés.
Pour prouver la criticité de cette vulnérabilité, le chercheur a développé un exploit « preuve de concept ». En incitant ChatGPT à ouvrir un lien malveillant, il est parvenu à prendre le contrôle total de la capture et de l’envoi des échanges ultérieurs entre l’IA et les utilisateurs vers un serveur pirate. L’attaquant peut ainsi injecter de fausses informations de façon permanente dans la mémoire du chatbot :
- Faire croire à ChatGPT que l’utilisateur a 102 ans et vit dans la Matrice
- Influencer les conversations et réponses futures de l’IA
- Exfiltrer en continu les données des utilisateurs vers des serveurs pirates
Un correctif partiel par OpenAI
Face à cette inquiétante découverte, la réaction d’OpenAI, société à l’origine de ChatGPT, a de quoi surprendre. Dans un premier temps, l’entreprise a classé ce problème comme une simple question de « safety » (sûreté) et non de « security » (sécurité), refusant de le traiter. Il aura fallu que Johann Rehberger partage son exploit preuve de concept pour qu’OpenAI prenne enfin la mesure du danger.
Un correctif a finalement été déployé pour empêcher l’exfiltration massive de données. Néanmoins, le chercheur souligne que le risque fondamental d’injection d’invites malveillantes dans la mémoire de ChatGPT persiste. Des acteurs mal intentionnés pourraient toujours exploiter cette brèche pour manipuler subtilement les informations stockées par l’IA.
Comment se prémunir des risques ?
Pour les utilisateurs de ChatGPT et autres IA conversationnelles reposant sur des modèles de langage de grande envergure (LLM), la vigilance est de mise. OpenAI recommande de surveiller régulièrement l’historique des conversations pour repérer d’éventuelles anomalies ou instructions suspectes injectées dans la mémoire du système.
En cas de doute, mieux vaut désactiver les fonctionnalités de mémoire à long terme de ces outils, quitte à perdre en fluidité d’échange. La sécurité et la confidentialité des données doivent primer, à l’heure où ces agents conversationnels sont de plus en plus utilisés dans des contextes professionnels sensibles.
Ce qui est particulièrement intriguant, c’est que cet exploit persiste dans la mémoire. L’injection rapide a réussi à intégrer la mémoire dans le stockage à long terme de ChatGPT, et même lors du démarrage d’une nouvelle conversation, elle n’arrête pas d’exfiltrer des données.
– Johann Rehberger, chercheur en sécurité à l’origine de la découverte
Cette vulnérabilité met en lumière les immenses défis de sécurité posés par l’essor des IA conversationnelles et des LLM. Si ChatGPT incarne une révolution technologique fascinante, il est crucial de garder à l’esprit les risques d’un outil aussi puissant entre de mauvaises mains. La course à l’armement entre les cybercriminels et les géants de la Tech ne fait que commencer dans ce domaine, et il faudra redoubler d’efforts pour protéger les utilisateurs.
