Saviez-vous que l’IA vocale d’une des startups les plus en vue du moment a été vraisemblablement exploitée par la Russie dans une campagne de désinformation ciblant l’Europe ? C’est en tout cas ce que révèle un récent rapport de Recorded Future, entreprise spécialisée dans le renseignement sur les menaces. Plongeons dans les coulisses de cette opération baptisée « Undercut » pour en comprendre les rouages.

ElevenLabs, pépite de l’IA vocale

Avant d’aller plus loin, quelques mots sur ElevenLabs, jeune pousse fondée en 2022 qui a connu une ascension fulgurante. Ses outils de génération de voix par IA, capables de s’exprimer naturellement dans de multiples langues, ont séduit de nombreux investisseurs de renom comme Andreessen Horowitz. En moins d’un an, la société a vu son ARR bondir de 25 à 80 millions de dollars, avec une valorisation qui pourrait bientôt atteindre les 3 milliards.

Mais ce succès s’accompagne visiblement de risques de mésusage, comme le montre le cas de l’opération Undercut orchestrée par la Russie pour saper le soutien européen à l’Ukraine.

Des deepfakes vocaux pour tromper l’Europe

Selon Recorded Future, la campagne russe a produit de nombreuses vidéos « d’information » trompeuses, attaquant des dirigeants ukrainiens ou remettant en cause l’utilité de l’aide militaire. Le plus frappant ? Ces contenus étaient doublés avec des voix générées par IA, « très probablement » issues de la technologie d’ElevenLabs et d’autres outils commerciaux similaires.

En analysant les vidéos avec le propre classificateur vocal d’ElevenLabs, les chercheurs ont pu confirmer l’utilisation de son IA. Ironiquement, certaines vidéos initialement doublées par de vraies voix trahissaient un accent russe, tandis que les versions « améliorées » par l’IA s’exprimaient parfaitement en anglais, français, allemand ou polonais.

L’IA vocale a permis aux vidéos trompeuses d’être rapidement produites en plusieurs langues européennes comme l’anglais, l’allemand, le français, le polonais et le turc.

Extrait du rapport de Recorded Future

La difficile modération des IA génératives

Si l’impact réel de l’opération Undercut semble limité, elle met en lumière les défis de la modération de contenu pour les startups d’IA générative en plein essor. ElevenLabs interdit l’usage « non autorisé, préjudiciable ou trompeur » de ses outils et dit s’appuyer sur des systèmes de détection automatisés et humains. Mais force est de constater que des acteurs malveillants parviennent encore à passer entre les mailles du filet.

Ce n’est d’ailleurs pas la première fois qu’ElevenLabs est pointée du doigt. Début 2024, sa technologie aurait aussi servi à créer un deepfake vocal de Joe Biden appelant à ne pas voter, selon Bloomberg.

Face à ces dérives, les startups d’IA doivent impérativement renforcer leurs garde-fous éthiques, au risque de voir leur réputation entachée et la confiance dans ces technologies novatrices sapée. Voici quelques pistes à explorer :

• Améliorer les systèmes de détection des contenus problématiques (désinformation, usurpation d’identité, incitation à la haine…)
• Exiger une authentification forte des utilisateurs et un engagement à respecter des conditions d’utilisation strictes
• Collaborer avec les autorités et la société civile pour identifier rapidement les mauvais usages
• Sensibiliser le public aux risques des technologies d’IA et promouvoir les bonnes pratiques

Le potentiel de l’IA vocale et des autres IA génératives est immense, dans des domaines aussi variés que l’éducation, la santé ou les médias. Mais pour libérer pleinement cette promesse, la confiance est essentielle. Il est donc urgent d’agir pour contenir les dérives, sans pour autant brider l’innovation. Un équilibre délicat mais crucial à trouver pour façonner un avenir numérique à la fois éthique et audacieux.