L’avènement des outils de musique générative basés sur l’intelligence artificielle (IA) a ouvert de nouvelles possibilités créatives passionnantes. Malheureusement, certains individus malintentionnés détournent ces technologies pour propager la haine et la division. Selon un rapport de la société de modération ActiveFence, on assiste à une recrudescence inquiétante de l’utilisation abusive de ces outils pour créer des chansons racistes, homophobes et de propagande.
Contournement des filtres de contenu
Les acteurs malveillants ont trouvé des astuces pour contourner les filtres de contenu des plateformes comme Udio et Suno. Ils utilisent des orthographes phonétiques alternatives pour les termes offensants, passant entre les mailles du filet. Malgré les efforts de modération, certaines de ces manipulations parviennent encore à passer inaperçues.
Ces tendances s’intensifient à mesure que davantage d’utilisateurs apprennent à générer ces chansons et les partagent avec d’autres.
– Un porte-parole d’ActiveFence
De la théorie du complot à l’apologie du terrorisme
Les chercheurs ont découvert des chansons générées par IA relayant des théories complotistes antisémites, appelant au meurtre de masse des juifs, glorifiant des groupes terroristes comme Daech et Al-Qaïda, ou encore faisant l’apologie des violences sexuelles envers les femmes. Cette musique haineuse, diffusée à grande échelle grâce à ces outils, peut avoir un impact émotionnel et psychologique dévastateur.
Un phénomène difficile à endiguer
ActiveFence appelle les plateformes de génération musicale à renforcer leurs outils de prévention et à mener des évaluations de sécurité plus poussées. Mais chaque contre-mesure semble vouée à être rapidement contournée. Des chansons de propagande en arabe, utilisant des euphémismes et translittérations, ont par exemple échappé aux filtres actuels.
- Simulation du comportement des acteurs malveillants (red teaming)
- Meilleure modération des entrées et sorties
- Filtrage adapté à chaque langue et contexte culturel
Si rien n’est fait, cette musique haineuse générée par IA risque de se propager aussi largement et rapidement que les deepfakes et autres contenus synthétiques problématiques. Un clip manipulé d’Hitler a déjà été vu plus de 15 millions de fois sur X. Un groupe consultatif de l’ONU craint que l’IA générative n’amplifie de manière inédite les discours racistes, antisémites, islamophobes et xénophobes.
Les services d’IA générative permettent à des utilisateurs sans ressources ni compétences de créer du contenu captivant pour diffuser des idées qui peuvent concurrencer l’attention sur le marché mondial des idées.
– Un porte-parole d’ActiveFence
C’est une course technologique permanente entre les modérateurs et ceux qui cherchent à propager la haine. Pour l’instant, les acteurs malveillants semblent avoir une longueur d’avance. Il est urgent que les plateformes musicales travaillent main dans la main avec les spécialistes pour colmater les brèches, sous peine de voir l’IA générative devenir le nouveau vecteur massif de la propagande et de la haine en ligne.
