Ce que font les grands modèles de langage à la recherche

Quelques mois après la popularisation des grands modèles de langage par la publication de ChatGPT, les chercheurs et chercheuses se demandent quelles conséquences vont-ils avoir sur leur travail et continuent à débattre de la question éthique de leur utilisation à tout bout de champs.

La percée des grands modèles de langage (Large Language models en anglais, LLM) dans le monde du numérique, les promesses économiques faites autour d'eux par des multinationales du numérique qui y voient un moyen de rebondir après les difficultés économiques qu'elles ont rencontrées depuis fin 2022, et l'intégration concrète de ces LLM dans le monde de la recherche continuent à alimenter les discussions éthiques autour de leur utilisation.

Si les questions posées en 2020 ne sont pas encore résolues, leur utilisation au quotidien en 2023 en pose d'autres. Et si leur utilisation en général lève des questions éthiques, certaines se posent plus particulièrement dans leur utilisation dans la recherche.

• Dangers des grands modèles de langage : des chercheuses avaient prévenu

Des scientifiques continuent à faire vivre le débat

Dans une discussion sur les risques de l'utilisation des grands modèles de langage publiée dans la revue scientifique Nature Review Physics, quatre spécialistes de l'éthique des technologies (la chercheuse en science cognitive de la Mozilla Foundation Abeba Birhane, la philosophe de l'Université d'Édimbourg Atoosa Kasirzadeh, le chercheur en éthique des technologies à l'Université Queen Marie de Londres David Leslie et la professeure en régulation des technologies d'Oxford Sandra Wachter) appellent leurs collègues à « une réflexion approfondie et à une utilisation responsable afin de garantir que les bonnes pratiques scientifiques et la confiance dans la science ne soient pas compromises ». 

Abeba Birhane pointe en premier lieu le problème d'affirmations non prouvées sur les capacités de ces modèles de langage : « alors que le battage autour des capacités de ces systèmes ne cesse de croître, de nombreuses affirmations sont faites sans preuve ; la charge de réfuter ces affirmations incombe aux critiques ».

Bien que les conséquences négatives sur les gens (notamment les minorités), l'utilisation du travail de salariés exploités et de réels dangers aient été prouvés, elle déplore qu' « au lieu de cela, les discussions sont dominées par des spéculations abstraites et hypothétiques sur leur intelligence, leur conscience, leur statut moral et leur capacité de compréhension ».

Sandra Wachter ajoute qu'il « faut garder en tête qu'ils ont une empreinte carbone importante. [...] En tant que scientifiques et en tant que société, nous ne devons pas ignorer la façon dont l'utilisation des technologies d'intelligence artificielle (IA) peut exacerber la crise climatique ». De fait, si le chercheur et les trois chercheuses en éthique continuent à mettre le doigt sur ce problème, les entreprises qui mettent en place ces modèles ne communiquent pas sur ce sujet.

Des problèmes plus spécifiques à la recherche

Atoosa Kasirzadeh attire l'attention de ses collègues scientifiques sur trois problèmes qui concernent plus spécifiquement l'utilisation des LLM dans la recherche. « Bien que les LLM semblent fournir des résumés généraux utiles de certains textes scientifiques, par exemple, il est moins évident qu'ils puissent capturer les incertitudes, les limites et les nuances de la recherche qui sont évidentes pour le scientifique humain », explique-t-elle en premier lieu.

Leur utilisation pour la rédaction de bibliographie scientifique constitue un second problème, à mesure qu'ils peuvent créer des textes affirmant de façon péremptoire des choses fausses : dès lors, les chercheurs ne devraient pas leur accorder trop de confiance dans cette tâche, ou « au moins vérifier attentivement le résultat ». Elle illustre ce problème avec le cas déjà traité ici de Galactica, retiré dare-dare par Meta, des internautes ayant montré qu'elle générait facilement des articles racistes et mensongers.

Enfin, elle considère que la revue par les pairs devrait éviter de les utiliser, pour écarter toutes possibles mauvaises interprétations de texte susceptibles de mettre en danger la confiance dans le processus.

Le problème, comme l'explique Sandra Wachter, c'est que la pression sur les chercheurs pour qu'ils publient le plus possible est écrasante, et qu' « une technologie qui permet de gagner du temps dans la recherche et d'augmenter la productivité peut être très tentante ».

D'ailleurs, on peut déjà le voir dans la production des chercheurs. Enrique Orduña-Malea, de l'Université Polytechnique de Valence, vient d'en faire les frais. Il a récemment découvert qu'il était cité en référence dans un article mis en ligne sur un serveur de preprint (serveur accueillant des articles pas encore relus par des pairs) alors qu'il n'a jamais écrit et encore moins publié l'article « Do research outputs produced in European Union countries mirror European Union funding? » pour lequel il est cité. Cette invention est sans doute due, même si on ne peut pas le prouver, à l'utilisation d'un LLM pour créer la bibliographie liée à l'article.

Le chercheur Guillaume Cabanac a, lui, trouvé des traces moins discrètes de l'utilisation de LLM dans des articles scientifiques mis en ligne sur des serveurs de preprint. La signature ? ChatGPT commence parfois ses phrases par « As an AI language model, ». Les personnes qui ont signé ces articles n'ont même pas eu la perspicacité de la supprimer de leur article...

🤖#ChatGPT: “As an AI language model, I...” found in preprints and papers! https://t.co/hZ5YDLfINL A fingerprint for the ‘suspect’ detector of the Problematic Paper Screener 🕵️, thanks for the tip @ClearSkiesAdam https://t.co/7KXPX0i2vM HT @mattjhodgkinson https://t.co/iTm0PiRkXR pic.twitter.com/cZdWCavYcq

— Guillaume Cabanac (@[email protected]) (@gcabanac) April 19, 2023

Open source ou pas le débat qui agite les chercheurs de l'industrie

Dans les laboratoires des entreprises qui génèrent ces LLM (Google, Meta, OpenAI, etc), ce ne sont pas vraiment ces questions qui sont posées. Les discussions portent plus sur le fait de rendre ces modèles de langage open source ou pas.

Si les premiers LLM étaient tous ouverts, certaines entreprises gardent de plus en plus jalousement leurs modèles, comme on peut le voir sur l'arbre généalogique des LLM mis en ligne sur GitHub par des doctorants de la discipline.

Crédits : Mooler0410 et al.

Yann Le Cun, scientifique en chef de l'IA chez Meta, qui l'a tweeté, fait remarquer que tous les LLM de son entreprise sont « open source ».

Mais le fait que Galactica soit open source n'a pas empêché que son utilisation dans la démo même de Meta puisse être considérée comme problématique, au point que l'entreprise décide de la dépublier.

Si OpenAI a publié une documentation sur GPT-4, l'entreprise n'a pas publié son dernier modèle, ni même la version majeure précédente. Malgré son nom, la startup leader dans le domaine n'est pas un exemple de ce point de vue.

La publication des modèles permet une certaine évaluation qui pourra servir pour une régulation du secteur. Mais elle ne donne pas toutes les informations utiles qui les concernent. Par exemple, il est difficile de savoir quels sont les corpus précis sur lesquels ils ont été entraînés.

Le modèle BLOOM semble le seul à aller dans une voie très ouverte, mais face à toute l'industrie du secteur qui n'a pas forcément intérêt à dévoiler tous ses secrets, cet exemple a peu de chance d'être copié dans sa démarche.