L’entreprise d’intelligence artificielle (IA) Anthropic vient de lancer un ambitieux programme visant à financer le développement d’une nouvelle génération de benchmarks d’IA. L’objectif ? Mettre au point des outils capables d’évaluer de manière plus complète la performance et l’impact des modèles d’IA, y compris les modèles génératifs comme leur propre assistant conversationnel Claude.
Un constat sans appel : les benchmarks actuels sont insuffisants
Anthropic tire la sonnette d’alarme : les benchmarks les plus couramment utilisés aujourd’hui pour évaluer les systèmes d’IA ne reflètent pas fidèlement la façon dont les utilisateurs réels interagissent avec ces technologies. Certains benchmarks datant d’avant l’essor de l’IA générative moderne soulèvent même des doutes quant à leur capacité à mesurer ce qu’ils prétendent mesurer.
L’IA a un problème de benchmarking. La demande dépasse l’offre et développer des évaluations pertinentes et de haute qualité reste un défi.
Anthropic
La solution d’Anthropic : de nouveaux benchmarks axés sur la sécurité et l’impact sociétal
Pour combler ces lacunes, Anthropic propose de créer des benchmarks plus exigeants, mettant l’accent sur la sécurité de l’IA et ses implications pour la société. Cela passera par le développement de nouveaux outils, infrastructures et méthodologies d’évaluation.
Parmi les priorités, l’entreprise cite notamment des tests pour évaluer la capacité d’un modèle à :
- Mener des cyberattaques
- « Améliorer » des armes de destruction massive
- Manipuler ou tromper les gens (via des deepfakes ou de la désinformation)
Anthropic souhaite également mettre au point un « système d’alerte précoce » pour identifier et évaluer les risques d’IA liés à la sécurité nationale et à la défense, bien que les détails restent à préciser.
Au-delà des risques, évaluer aussi le potentiel positif de l’IA
Le programme ne se limitera pas à l’étude des dangers. Il soutiendra aussi la recherche sur des benchmarks et tâches « de bout en bout » explorant le potentiel de l’IA pour :
- Aider à la recherche scientifique
- Converser dans plusieurs langues
- Atténuer les biais ancrés
- S’autocensurer en cas de toxicité
De nouvelles plateformes collaboratives et des essais à grande échelle
Pour réaliser ces objectifs ambitieux, Anthropic envisage la création de plateformes permettant à des experts de différents domaines de développer leurs propres évaluations. Des essais à grande échelle impliquant des milliers d’utilisateurs sont également prévus pour tester les modèles.
L’entreprise a embauché un coordinateur à plein temps pour superviser le programme et se dit prête à acheter ou étendre des projets prometteurs. Les équipes sélectionnées bénéficieront de diverses options de financement adaptées à leurs besoins et stade de développement, ainsi que d’interactions directes avec les experts d’Anthropic.
Un effort louable, mais qui soulève des questions
Si l’initiative d’Anthropic pour soutenir de nouveaux benchmarks d’IA est indéniablement louable, elle n’est pas sans susciter certaines interrogations compte tenu des ambitions commerciales de l’entreprise dans la course à l’IA.
Le fait qu’Anthropic souhaite aligner certaines évaluations sur ses propres classifications de sécurité de l’IA pourrait contraindre les candidats au programme à accepter des définitions d’ »IA sûre » ou « risquée » avec lesquelles ils ne sont pas forcément d’accord.
Par ailleurs, les références d’Anthropic à des risques d’IA « catastrophiques » ou « trompeurs », comme le détournement d’armes nucléaires, pourraient être contestées par une partie de la communauté scientifique qui juge ces scénarios peu crédibles à court terme et préfère se concentrer sur les enjeux réglementaires pressants du moment (biais, « hallucinations »…).
Vers une industrie de l’évaluation de l’IA : un défi de taille
L’objectif affiché d’Anthropic est ambitieux : faire de l’évaluation complète de l’IA un standard industriel. Un but que partagent de nombreuses initiatives open source et indépendantes travaillant sur de meilleurs benchmarks.
Reste à voir si ces efforts accepteront de collaborer avec un vendeur d’IA dont la loyauté va in fine à ses actionnaires. Le chemin vers des benchmarks d’IA de nouvelle génération, plus complets et faisant autorité, s’annonce long et semé d’embûches. Mais l’enjeu en vaut assurément la chandelle pour s’assurer d’un développement responsable et bénéfique de ces technologies transformatrices.
