Le nouveau moteur de recherche alimenté par l’intelligence artificielle ChatGPT Search, lancé ce mois-ci, peut apparemment être facilement manipulé pour générer des résumés complètement trompeurs et même du code malveillant, selon une récente étude menée par le journal britannique The Guardian. Cette découverte soulève d’importantes questions sur les risques et les vulnérabilités potentiels des outils de recherche basés sur l’IA.
Une fonction de synthèse vulnérable à la manipulation
L’une des principales fonctionnalités de ChatGPT Search est sa capacité à résumer rapidement le contenu des pages web, comme les avis sur les produits, afin de faciliter la navigation des utilisateurs. Cependant, les chercheurs du Guardian ont découvert qu’il était possible de tromper le système en insérant du texte caché dans les sites web qu’ils avaient créés.
En utilisant cette technique, ils ont pu amener ChatGPT à ignorer complètement les avis négatifs et à générer des résumés « entièrement positifs ». Pire encore, ils ont également réussi à lui faire générer du code malveillant en exploitant cette même faille.
Un risque connu mais jamais démontré à cette échelle
Si les attaques par texte caché sont un risque bien connu pour les grands modèles de langage comme celui utilisé par ChatGPT, il semble que ce soit la première fois qu’une telle vulnérabilité est démontrée sur un produit de recherche alimenté par l’IA et déjà déployé auprès du grand public.
Google, le leader actuel de la recherche en ligne, a plus d’expérience dans la gestion de problèmes similaires.
The Guardian
Contacté par TechCrunch, OpenAI, l’entreprise derrière ChatGPT, n’a pas souhaité commenter spécifiquement cet incident. Elle a cependant déclaré utiliser diverses méthodes pour bloquer les sites web malveillants et travailler en permanence à l’amélioration de ses systèmes.
Des défis majeurs pour le déploiement de l’IA dans la recherche
Cette découverte met en lumière les défis considérables auxquels sont confrontées les entreprises cherchant à intégrer l’intelligence artificielle dans leurs outils de recherche et de synthèse d’information :
- La nécessité de développer des systèmes robustes et résilients face aux tentatives de manipulation.
- L’importance d’une vigilance constante pour détecter et corriger rapidement les failles de sécurité.
- Le besoin de mettre en place des garde-fous pour prévenir la diffusion de désinformation ou de contenu malveillant.
À mesure que les moteurs de recherche alimentés par l’IA gagnent en popularité, il sera crucial pour les entreprises comme OpenAI et Google de relever ces défis afin de garantir la fiabilité et la sécurité de leurs outils. La confiance des utilisateurs et l’intégrité de l’information en ligne en dépendent.
Conclusion
L’incident de ChatGPT Search révélé par The Guardian est un rappel de l’importance cruciale de la robustesse et de la sécurité dans le développement des technologies d’IA, en particulier lorsqu’elles sont appliquées à des domaines aussi sensibles que la recherche d’information. Alors que nous nous tournons vers un avenir où l’IA jouera un rôle de plus en plus central, il est essentiel de tirer les leçons de ces vulnérabilités pour construire des systèmes plus fiables et résistants aux manipulations.
