Sakana : Un Papier IA Passe le Peer Review, Vraiment ?

Et si une intelligence artificielle pouvait rédiger un article scientifique si convaincant qu’il passerait le filtre rigoureux d’une revue par les pairs ? C’est exactement ce que la startup japonaise Sakana a tenté de démontrer en soumettant un papier entièrement généré par son système, **The AI Scientist-v2**, à un atelier de la conférence ICLR 2025. À première vue, l’exploit semble impressionnant : un des trois articles proposés a été accepté. Mais comme souvent dans le monde de la tech, le diable se cache dans les détails. Entre raccourcis embarrassants de l’IA, retrait volontaire du papier et questions éthiques, cette expérience soulève autant de doutes que d’espoirs. Dans cet article, nous plongeons dans cette aventure fascinante pour décrypter ce que cela signifie pour les startups, les chercheurs et les passionnés de technologie.

Une IA au service de la science : l’expérience de Sakana

Imaginez une IA capable non seulement de rédiger un texte, mais aussi de concevoir des hypothèses scientifiques, de coder des expériences et d’analyser des données. C’est le pari audacieux de Sakana, une jeune pousse japonaise qui fait parler d’elle dans l’écosystème des startups technologiques. Pour prouver la puissance de son outil, **The AI Scientist-v2**, l’entreprise a collaboré avec des chercheurs des universités de Colombie-Britannique et d’Oxford. Ensemble, ils ont généré trois articles scientifiques soumis à un atelier de l’ICLR, une conférence renommée dans le domaine de l’intelligence artificielle. Le processus ? L’IA a tout pris en charge : idées, code, visualisations, texte, et même le titre, en s’inspirant des abstracts et descriptions de l’atelier.

Sur les trois soumissions, une a franchi la première étape du peer review, un système où des experts évaluent anonymement la qualité d’un travail scientifique. Intitulé comme un regard critique sur les techniques d’entraînement des modèles d’IA, cet article proposait une nouvelle méthode prometteuse tout en soulignant des défis empiriques. Pourtant, Sakana a choisi de retirer le papier avant sa publication officielle. Pourquoi ? Par transparence et respect des conventions de l’ICLR, selon eux. Mais ce geste soulève une question : cette expérience est-elle une révolution ou une simple démonstration technique ?

Les coulisses de la réussite : un succès en demi-teinte

À première vue, faire accepter un article par un comité de lecture semble un exploit monumental pour une IA. Mais creusons un peu. D’abord, Sakana reconnaît que son système n’est pas infaillible. Parmi les erreurs relevées, des citations erronées ont fait surface, comme attribuer une méthode à un papier de 2016 au lieu de l’original de 1997. Une faute qui pourrait passer inaperçue pour un novice, mais qui trahit une faiblesse dans la rigueur scientifique, un pilier de la recherche.

Ensuite, le processus de validation n’a pas été aussi exhaustif qu’on pourrait le penser. Une fois accepté par les pairs, l’article n’a pas subi de *meta-review*, une étape supplémentaire où les organisateurs de l’atelier auraient pu le rejeter. De plus, les ateliers de conférence, comme celui-ci dédié aux résultats négatifs, ont des taux d’acceptation plus élevés que les sessions principales de l’ICLR. Sakana l’admet d’ailleurs : aucun de ses articles n’a atteint le niveau requis pour une publication dans le circuit principal de la conférence.

« Les résultats de Sakana sont un peu trompeurs. Les humains ont sélectionné les articles parmi plusieurs générés, ce qui montre que l’efficacité vient d’un duo humain-IA, pas de l’IA seule. »

– Matthew Guzdial, chercheur en IA à l’Université de l’Alberta

IA et peer review : une prouesse technique ou un mirage ?

Le fait qu’une IA puisse produire un texte suffisamment convaincant pour tromper des reviewers n’est pas une surprise totale. Les modèles comme ceux de Sakana excellent à imiter le style humain, une compétence déjà exploitée dans la rédaction de contenu marketing ou de posts sur les réseaux sociaux. Mais dans le domaine scientifique, où la précision et l’originalité priment, les attentes sont bien plus élevées. Mike Cook, chercheur au King’s College de Londres, met en garde contre une confusion : passer le peer review ne signifie pas forcément contribuer à la connaissance.

Pour lui, cette expérience reflète davantage la capacité de l’IA à « vendre » une idée qu’à innover réellement. Les ateliers comme celui de l’ICLR, souvent animés par des chercheurs juniors et axés sur des thématiques spécifiques (ici, les échecs et difficultés), pourraient aussi avoir facilité la tâche de Sakana. Résultat : un succès technique, oui, mais pas une percée scientifique majeure.

Voici ce que cette expérience nous apprend en quelques points clés :

  • L’IA peut imiter le ton et la structure d’un article scientifique.
  • Elle reste limitée par des erreurs factuelles et un manque de profondeur.
  • Le rôle humain reste crucial pour trier et valider les productions.

Les implications pour les startups et le business

Pour les entrepreneurs et marketeurs, cette percée – même nuancée – ouvre des perspectives intrigantes. Imaginez une startup utilisant une IA comme **The AI Scientist-v2** pour accélérer la recherche et développement, produire des white papers ou même tester des hypothèses de marché. Dans un secteur où le temps et l’innovation sont des monnaies d’échange, cela pourrait changer la donne. Mais attention : les erreurs de citation ou les approximations relevées par Sakana rappellent que l’IA doit être encadrée par une expertise humaine.

Sur le plan éthique, cette expérience soulève aussi des questions brûlantes. Si les articles générés par IA inondent les revues scientifiques, comment maintenir la crédibilité du peer review ? Sakana elle-même appelle à une réflexion collective pour établir des normes. Une préoccupation partagée par les experts :

« Il y a une différence entre passer le peer review et apporter une vraie contribution à un domaine. »

– Mike Cook, chercheur au King’s College London

Et après ? L’avenir de l’IA dans la recherche

Alors, où va-t-on à partir de là ? Sakana ne prétend pas avoir créé une IA capable de révolutionner la science du jour au lendemain. Leur objectif était d’évaluer la qualité des recherches générées par IA et de poser les bases d’un débat. Mission réussie sur ce point : leur expérience a déjà suscité des réactions, des sceptiques aux optimistes. Pour les startups tech et les acteurs du business, cela pourrait inspirer de nouveaux outils d’automatisation, mais avec un caveat : la supervision humaine reste incontournable.

Pour les passionnés de technologie, c’est une fenêtre sur un futur où l’IA devient un partenaire créatif, pas juste un exécutant. Mais pour que ce partenariat fonctionne, il faudra surmonter les lacunes actuelles – hallucinations, manque de rigueur – et définir des règles claires. En attendant, l’expérience de Sakana reste une étape, pas une destination.

Et vous, que pensez-vous de cette avancée ? L’IA est-elle prête à coécrire le futur de la science, ou reste-t-elle un outil perfectible au service des humains ?

À lire également