L’essor fulgurant de l’intelligence artificielle ces dernières années a permis des avancées remarquables dans de nombreux domaines. Cependant, les dernières annonces de Google concernant sa nouvelle famille de modèles PaliGemma 2 capables « d’identifier » les émotions soulèvent de vives inquiétudes parmi les experts.

PaliGemma 2 : Des IA entraînées à reconnaître les émotions

Présentée jeudi dernier, la série de modèles PaliGemma 2 de Google est capable d’analyser des images pour générer des légendes détaillées et répondre à des questions sur les personnes et les scènes photographiées. Mais ce qui interpelle, c’est sa prétendue capacité à identifier les émotions des visages.

Bien que nécessitant un affinage spécifique, cette fonctionnalité d’emblée présente dans les modèles PaliGemma 2 en open source inquiète grandement la communauté scientifique et éthique. La professeure Sandra Wachter de l’Oxford Internet Institute qualifie cela de « très troublant », jugeant problématique de penser pouvoir « lire » les émotions des gens comme avec une boule de cristal.

Une détection des émotions aux fondements scientifiques fragiles

Si l’idée de détecter les émotions via l’IA n’est pas nouvelle, de nombreuses études remettent en question la solidité des bases sur lesquelles s’appuient ces systèmes :

• Les 6 émotions « universelles » théorisées par Paul Ekman sont controversées
• L’expression des émotions varie grandement selon les individus et les cultures
• Les algorithmes sont biaisés par les présupposés de leurs concepteurs

Mike Cook, chercheur en IA, souligne qu’une détection parfaite est impossible car les gens vivent les émotions de façon complexe. Malgré les efforts des entreprises et agences, seule une détection générique dans certains cas semble envisageable.

Des risques de biais et de discrimination préoccupants

Au-delà de leur fiabilité, ces systèmes d’analyse émotionnelle pourraient avoir des conséquences néfastes. Des études ont montré que les modèles tendent à attribuer plus d’émotions négatives aux visages de personnes noires qu’aux blancs. Google affirme avoir effectué des tests poussés sur les biais démographiques de PaliGemma 2, mais sans détailler l’ensemble des benchmarks utilisés.

L’interprétation des émotions est subjective et ancrée dans un contexte personnel et culturel. On ne peut les déduire des traits du visage seuls.

– Heidy Khlaaf, scientifique en chef à l’AI Now Institute

La crainte principale autour de modèles ouverts comme PaliGemma 2 est leur potentiel d’abus et de mauvais usages, pouvant mener à de réelles discriminations envers les groupes marginalisés, que ce soit dans les ressources humaines, les contrôles aux frontières ou les forces de l’ordre.

Une réglementation encore insuffisante

Face à ces dangers, les législateurs commencent à s’emparer du sujet. Le projet de loi européen sur l’IA, l’AI Act, vise à interdire l’utilisation de détecteurs d’émotions dans les écoles et les entreprises, mais pas pour les agences gouvernementales.

Pour la professeure Wachter, une innovation responsable implique d’anticiper les conséquences dès le début et tout au long du cycle de vie d’un produit. Elle redoute les dérives d’un futur dystopique où nos émotions détermineraient l’accès à l’emploi, au crédit ou aux études.

Malgré les dénégations de Google qui dit avoir mené de « solides évaluations » sur PaliGemma 2 en termes d’éthique et de sécurité, le doute et la méfiance persistent. Il est crucial que la recherche sur la détection des émotions par l’IA s’accompagne d’un cadre réglementaire et éthique strict pour en prévenir les abus. L’avenir de notre vie privée et de l’équité sociale en dépend.