Face à la recrudescence inquiétante d’applications utilisant l’intelligence artificielle de manière détournée et néfaste, notamment pour générer des deepfakes pornographiques sans le consentement des personnes, Google a décidé de sévir. Le géant de la Silicon Valley vient d’annoncer un durcissement de ses règles sur le Play Store concernant les apps basées sur l’IA.
Prévenir la génération de contenus prohibés
Désormais, les développeurs proposant des fonctionnalités basées sur l’intelligence artificielle dans leurs applications devront s’assurer de mettre en place des garde-fous empêchant la création de contenus inappropriés ou illégaux comme de la pornographie, de la violence, etc. Des systèmes de modération et de signalement des contenus choquants générés par les utilisateurs seront aussi exigés.
Les développeurs doivent tester de manière rigoureuse leurs outils et modèles d’IA, pour garantir le respect de la sécurité et de la vie privée des utilisateurs.
– Google
Publicités mensongères dans le viseur
Au-delà du fonctionnement même des applications, Google compte aussi analyser de près les éléments marketing et publicitaires les accompagnant. Les apps dont la communication promeut des usages problématiques, comme le déshabillage virtuel de personnes, risquent l’exclusion de la boutique d’applications. Et ce, même si l’application en elle-même n’est pas réellement capable de le faire.
Lutter contre le harcèlement dans les écoles
Cette initiative de Google intervient alors que de plus en plus d’établissements scolaires font face à un fléau grandissant : la diffusion par les élèves de deepfakes pornographiques mettant en scène d’autres élèves ou des professeurs. Un phénomène extrêmement préoccupant qui touche même les collèges.
En posant des critères stricts pour les applications basées sur l’IA distribuées sur le Play Store, Google espère endiguer cette vague et ses effets dévastateurs en termes de cyberharcèlement. Les développeurs devront se plier à ces nouvelles règles sous peine de voir leur app refusée lors du processus de validation.
- Prévention obligatoire de la génération de contenus interdits
- Fonctionnalités de signalement des contenus offensants
- Tests rigoureux des modèles IA avant publication
- Attention portée aux éléments marketing et publicitaires
Avec ce tour de vis, Google montre sa volonté d’accompagner le développement des applications basées sur l’IA tout en posant des limites claires. L’objectif : empêcher que ces technologies ne soient détournées à des fins malveillantes et ne mettent en danger les utilisateurs, en particulier les plus jeunes. Un défi de taille à l’heure où l’IA générative explose.
