Une étude récente publiée par des chercheurs des universités de Tübingen et Northwestern révèle une approche novatrice pour estimer la prévalence de l’utilisation des modèles de langage à grande échelle (LLM) dans la rédaction scientifique. Cette méthode s’appuie sur l’identification de « mots excédentaires » dont la fréquence a augmenté de manière significative depuis l’avènement des LLM fin 2022.
Une méthode inspirée des études sur la pandémie
Les chercheurs ont puisé leur inspiration dans les études mesurant l’impact de la pandémie de COVID-19 via la surmortalité par rapport aux données historiques. En appliquant une démarche similaire, ils ont analysé « l’utilisation excessive de mots » dans les résumés scientifiques publiés sur PubMed entre 2010 et 2024. Cette comparaison a mis en lumière des changements notables dans le vocabulaire, coïncidant avec l’adoption généralisée des LLM.
Analyse de 14 millions de résumés scientifiques
Pour quantifier ces changements, l’équipe a passé au crible 14 millions de résumés, en suivant l’évolution de la fréquence de chaque mot année après année. En comparant la fréquence attendue des mots, basée sur les tendances pré-2023, à leur utilisation réelle en 2023 et 2024, ils ont identifié une hausse spectaculaire de certains termes :
- « Delves » est apparu 25 fois plus fréquemment que prévu dans les résumés de 2024
- « Showcase » et « underscores » ont vu leur utilisation multipliée par 9
- « Potential », « findings », « crucial » et bien d’autres ont connu une augmentation prononcée
Des changements abrupts dans le vocabulaire post-LLM
Cette augmentation de mots spécifiques, baptisés « mots marqueurs », est un indicateur clé de l’utilisation des LLM. Si la langue évolue naturellement, de tels changements brusques et généralisés n’étaient auparavant associés qu’à des événements mondiaux majeurs comme les crises sanitaires. Fait intéressant, l’ère post-LLM a vu une hausse des verbes, adjectifs et adverbes, contrairement aux changements de vocabulaire à forte teneur nominale observés pendant la pandémie.
En identifiant ces mots-clés, les chercheurs estiment qu’au moins 10 % des résumés scientifiques de 2024 ont été générés ou assistés par des LLM. Ce chiffre sous-estime probablement la véritable ampleur, car tous les textes assistés par des LLM n’incluront pas nécessairement ces marqueurs spécifiques.
Des variations géographiques dans l’utilisation des LLM
L’étude met également en évidence des différences géographiques dans l’utilisation des LLM. Les articles provenant de pays comme la Chine, la Corée du Sud et Taïwan montrent une fréquence plus élevée de mots marqueurs, suggérant que les LLM sont particulièrement utiles aux locuteurs non natifs de l’anglais pour rédiger et éditer des textes scientifiques. À l’inverse, les anglophones natifs pourraient être plus aptes à reconnaître et à supprimer ces marqueurs, masquant ainsi leur recours aux LLM.
Implications et perspectives
Cette étude pionnière ouvre la voie à une meilleure compréhension de l’impact des modèles de langage à grande échelle sur la rédaction scientifique. En identifiant les « mots excédentaires » caractéristiques des textes générés par l’IA, les chercheurs offrent un outil précieux pour estimer la prévalence de l’utilisation des LLM dans le monde académique. Ces résultats soulèvent également des questions cruciales sur l’évolution de la langue, l’intégrité scientifique et les différences culturelles dans l’adoption des technologies d’IA.
Alors que les LLM continuent de progresser et de s’intégrer dans diverses sphères, il est essentiel de développer des méthodes robustes pour détecter et étudier leur influence. Cette étude constitue un pas important dans cette direction, offrant des insights précieux sur la façon dont l’IA façonne la communication scientifique à l’ère numérique. Les implications de ces découvertes sont vastes, allant de l’évaluation de l’originalité des travaux de recherche à la réflexion sur les normes éthiques entourant l’utilisation de l’IA dans le monde académique.
À mesure que nous avançons dans cette ère passionnante de l’intelligence artificielle, il est crucial de continuer à explorer et à comprendre l’impact des LLM et d’autres technologies d’IA sur notre façon de communiquer, de créer et de partager des connaissances. Des études comme celle-ci nous rappellent l’importance de rester vigilants et de développer des outils adaptés pour naviguer dans ce paysage en constante évolution, afin de préserver l’intégrité et la qualité de la recherche scientifique à l’ère numérique.
