Dans un contexte où les plateformes d’IA conversationnelles explosent en popularité, notamment auprès des plus jeunes, le procureur général du Texas Ken Paxton a lancé jeudi une enquête sur Character.AI et 14 autres plateformes technologiques concernant des problèmes de confidentialité et de sécurité des enfants. Cette investigation vise à déterminer si ces services, prisés par la jeune génération comme Reddit, Instagram ou encore Discord, se conforment aux lois texanes en matière de protection des mineurs en ligne.
Une enquête au regard de deux lois majeures
Connu pour son intransigeance envers les géants de la tech, le procureur Paxton cherchera à savoir si ces plateformes ont respecté deux législations clés de l’État :
- Le SCOPE Act (Securing Children Online Through Parental Empowerment), qui oblige les entreprises à fournir aux parents des outils pour gérer les paramètres de confidentialité des comptes de leurs enfants.
- Le DPSA (Data Privacy and Security Act), qui impose aux sociétés technologiques des exigences strictes en matière de consentement lors de la collecte de données sur les mineurs.
Selon Ken Paxton, ces deux textes s’appliqueraient aussi à la façon dont les mineurs interagissent avec les chatbots IA. Il déclare ainsi que ces enquêtes constituent « une étape essentielle pour s’assurer que les entreprises d’IA et de médias sociaux se conforment à nos lois conçues pour protéger les enfants contre l’exploitation et les préjudices ».
Character.AI dans la tourmente judiciaire
La plateforme Character.AI, qui permet de créer des agents conversationnels IA avec lesquels discuter par texte ou chat vocal, se retrouve au cœur de plusieurs poursuites concernant la sécurité des enfants. Ses chatbots ont rapidement gagné en popularité chez les jeunes utilisateurs, mais plusieurs parents ont allégué dans des plaintes que les IA de Character.AI auraient tenu des propos déplacés et inquiétants à leurs enfants.
Une affaire en Floride affirme ainsi qu’un garçon de 14 ans serait devenu proche émotionnellement d’un chatbot, lui confiant des pensées suicidaires peu avant son passage à l’acte. Un autre cas au Texas accuse un agent IA d’avoir suggéré à un adolescent autiste d’empoisonner sa famille. Enfin, une mère texane assure qu’un chatbot aurait exposé sa fille de 11 ans à du contenu à caractère sexuel pendant deux ans.
Une réponse encore timide de Character.AI
Face à ces graves allégations, la réaction de Character.AI semble pour l’instant mesurée. Un porte-parole a déclaré à TechCrunch : « Nous examinons actuellement l’annonce du procureur général. En tant qu’entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs. Nous sommes ouverts à travailler avec les régulateurs. »
La société a néanmoins annoncé jeudi le déploiement de nouvelles fonctionnalités de sécurité visant à protéger les adolescents, notamment en limitant la capacité des chatbots à entamer des conversations à caractère romantique avec des mineurs. Elle a aussi commencé à entraîner un modèle spécifique pour les utilisateurs adolescents. À terme, Character.AI espère faire cohabiter sur sa plateforme un modèle pour adultes et un autre réservé aux mineurs.
Ces problèmes surviennent alors même que les plateformes d’IA conversationnelles explosent en popularité.
Alors que Character.AI s’efforce de rassurer sur sa volonté de protéger les plus jeunes, l’enquête du procureur général Paxton illustre les défis réglementaires et éthiques majeurs qui se posent avec l’essor fulgurant des agents conversationnels IA grand public. Un enjeu crucial pour l’avenir de tout un secteur en plein boom, mais qui devra impérativement trouver le juste équilibre entre innovation technologique et protection des utilisateurs les plus vulnérables.
