Dans une décision qui risque de soulever l’ire des éthiciens, OpenAI a choisi de former un nouveau comité chargé de superviser les décisions critiques en matière de sécurité et de sécurité liées aux projets et opérations de l’entreprise – mais en ne le dotant que de membres internes, dont le PDG Sam Altman.
Ce Comité de sécurité et de sécurité sera chargé d’évaluer les processus et les garanties de sécurité d’OpenAI au cours des 90 prochains jours. Il partagera ensuite ses conclusions et recommandations avec le conseil d’administration pour examen, suite à quoi l’entreprise publiera une mise à jour sur les suggestions adoptées.
Une vague de départs inquiétants
Cette annonce intervient alors qu’OpenAI a récemment connu plusieurs départs très médiatisés du côté sécurité de son équipe technique. Certains de ces ex-employés ont exprimé leurs inquiétudes quant à ce qu’ils perçoivent comme une dé-priorisation intentionnelle de la sécurité de l’IA.
Daniel Kokotajlo, qui travaillait dans l’équipe de gouvernance d’OpenAI, a démissionné en avril après avoir perdu confiance dans la capacité d’OpenAI à « se comporter de manière responsable » autour du lancement de systèmes d’IA de plus en plus performants. Ilya Sutskever, cofondateur et ancien scientifique en chef, est parti en mai après une longue bataille avec Altman et ses alliés, en partie sur la précipitation d’Altman à lancer des produits alimentés par l’IA au détriment du travail de sécurité.
Des appels à plus de transparence et de responsabilité
Plus récemment, Jan Leike et Gretchen Krueger, deux chercheurs impliqués dans le développement de ChatGPT et de son prédécesseur InstructGPT, ont démissionné de leurs rôles de recherche sur la sécurité. Ils ont publiquement critiqué l’approche d’OpenAI en matière de sécurité de l’IA, appelant l’entreprise à améliorer sa responsabilité, sa transparence et le soin avec lequel elle utilise sa propre technologie.
Sur la base de notre expérience, nous pensons que l’auto-gouvernance ne peut pas résister de manière fiable à la pression des incitations à but lucratif.
– Helen Toner et Tasha McCauley, anciens membres du conseil d’administration d’OpenAI
Un comité dominé par la direction
Pour éviter l’apparence d’une mascarade éthique avec ce comité dominé par la direction, OpenAI s’est engagé à retenir des experts tiers en « sécurité, sécurité et technique » pour soutenir le travail du comité. Cependant, au-delà de deux noms, l’entreprise n’a pas détaillé la taille ou la composition de ce groupe d’experts externes, ni précisé les limites de son pouvoir et de son influence sur le comité.
Comme le souligne la chroniqueuse de Bloomberg Parmy Olson, les comités de surveillance d’entreprise comme celui-ci « ne font pratiquement rien en termes de surveillance réelle ». De manière révélatrice, OpenAI indique vouloir aborder les « critiques valables » de son travail via le comité – les « critiques valables » étant, bien sûr, laissées à l’appréciation de l’entreprise.
Des promesses non tenues sur la gouvernance externe
Sam Altman avait autrefois promis que des acteurs externes joueraient un rôle important dans la gouvernance d’OpenAI. En 2016, il avait déclaré qu’OpenAI permettrait à de larges pans du monde d’élire des représentants à un conseil d’administration. Cette promesse ne s’est jamais concrétisée – et il semble peu probable qu’elle le soit à ce stade.
L’avenir incertain de l’éthique de l’IA chez OpenAI
Avec ce nouveau comité dominé par la direction et les départs continus de chercheurs en sécurité de l’IA, de sérieuses questions se posent quant à l’engagement réel d’OpenAI envers une IA responsable et éthique. Alors que l’entreprise promet de s’attaquer aux critiques « valables », il reste à voir si elle sera vraiment à la hauteur des immenses défis éthiques posés par le développement rapide de l’IA.
Seul l’avenir nous dira si OpenAI parviendra à concilier ses ambitions commerciales avec les impératifs de sécurité, de transparence et de responsabilité. Mais ce nouveau comité, malgré quelques promesses, ne semble pas de bon augure pour une gouvernance véritablement indépendante et éthique de l’IA.
