Où en sont les modèles d’IA génératifs ?

Que permettent de faire les modèles génératifs, quels risques embarquent-ils ? Tentative de tri au milieu du buzz.

GPT 3.5, GPT-4, Dall-E 2, MidJourney, Stable Diffusion… Depuis l’été 2022, les modèles d’intelligence artificielle (IA) génératifs défraient régulièrement la chronique. Entre les générations de texte suffisamment crédibles pour aider les étudiants flemmards dans leurs devoirs et les créations d’images difficilement discernables de la réalité, leurs usages inquiètent, fascinent ou les deux.

📸Trump arrêté, Obama et Merkel à la plage, Macron éboueur, Poutine agenouillé devant Xi Jinping...

💻Les images générées par intelligence artificielle ancrées dans l'actualité se multiplient en ligne, semant parfois la confusion. Comment les reconnaître ? ⤵️ #AFP 1/8 pic.twitter.com/LuytjCN2l2

— AFP Factuel 🔎 (@AfpFactuel) March 25, 2023

 
Notre état des lieux sur les grands modèles de langage :

• Des recherches des années 50 à GPT-4 en passant par BERT, quelles évolutions amènent les grands modèles de langage ?
• Où en sont les modèles d’IA génératifs ?

Mais qu’est-ce que ces grands modèles de langage (Large Language Models, LLMs) permettent de faire au quotidien ? Pour l’entrepreneur Laodis Menard, fondateur de la start-up Argil qui vise à faciliter la prise en main de ces technologies, le secteur de l’éducation va devoir « s’adapter à grande vitesse ».

• ChatGPT chamboule les examens

Surtout, tous les métiers comprenant une large part de « tâches chronophages, de la rédaction d’e-mails à celles de publications marketing, un usage récurrent d’Excel… Tous ces espaces-là vont gagner du temps. Ça pourrait faire évoluer drastiquement les milieux de la finance ou de la comptabilité, par exemple. »

Moins convaincue par l’évolution de secteurs entiers, manager dans un cabinet de conseil, Marie voit tout de même des opportunités pour deux types de métiers plutôt transversaux : « dans le marketing, où les gens ont besoin de créer du texte ou de l’image de manière percutante, des outils comme ChatGPT sont intéressants. Et dans le développement, ils font déjà gagner du temps : au lieu d’aller cherche la réponse à un problème dans Stack Overflow, les développeurs peuvent juste demander à la machine de les aider à coder tel point en Python ».

« S’il s’agit de créer du contenu, en rédigeant des e-mails ou en résumant du texte, par exemple, l’intérêt est faible par rapport aux risques que posent ces technologies très neuves », s’inquiète de son côté l’économiste au département Travail, Emploi et Compétences de France Stratégie Salima Benhamou. Les implications de ces machines en termes « d’éthique, de contenus malveillants, leur manque de transparence » sont autant d’éléments qui incitent plutôt cette dernière à demander de la régulation, « comme vient de le faire l’Italie », et de la prise de recul.

• L’Italie bloque ChatGPT, les grands modèles de langage inquiètent

LLMs et monde de l’information, l’inquiétude persistante

Comme nous l’expliquions dans de précédents articles, s’il est un domaine qui concentre une bonne partie des angoisses suscitées par les modèles d’IA génératifs, c’est bien celui de l’information.

• Quels pourraient être les effets de ChatGPT sur l’information ?

• ChatGPT, Bard et les autres, agents de désinformation massive ?

Début février, Google annonçait ainsi le lancement de Bard pour réagir à l’offensive ChatGPT. Après une phrase de limitation de son usage à des « testeurs de confiance », l’outil a été ouvert le 21 mars aux usagers américains et britanniques. Avec une logique affirmée publiquement : plus le nombre de personnes qui utilisent la technologie est grand, meilleurs les résultats de cette dernière seront. En d’autres termes, les usagers sont aussi les entraîneurs du robot. 

Problème, toutefois : le Bing de Microsoft a rapidement produit des messages faux au sujet du Bard de Google, bêtises rapidement corrigées, mais qui alimentent les inquiétudes sur la possible dépréciation accrue du paysage de l’information sous l’effet de ces technologies.

Ailleurs en ligne – et au gré des actualités – ce sont les progressions en termes d’imagerie qui ont alimenté les discussions. Entre Stable Diffusion, Dall-E 2 (d’OpenAI) ou MidJourney, les outils se multiplient, qui permettent de créer toutes sortes d’images créatives et/ou crédibles… au point que plus d’un internaute soit tombé dans le panneau de cette production photoréaliste montrant le pape dans un manteau de rappeur, ou cette autre illustrant Donald Trump arrêté par la police. Des modèles comme Gen-2, rendu public par Runway, promettent le même type de prouesses techniques avec des éléments vidéos.

Pope Francis fashion catwalk, Midjourney 2 pic.twitter.com/VuvPsdHyHZ

— Rōnin (@ShibaRonin_) March 26, 2023

Que ce soit, donc, via l’intégration de ces modèles aux moteurs de recherche existants ou parce que les modèles ouverts permettent de créer un tas d’éléments textuels ou visuels dits « synthétiques » et difficiles à discerner des contenus créés par des humains, les enjeux posés sont immenses. Constructeur des modèles GPT, OpenAI le reconnait lui-même dans la documentation qu’il fournit de ses technologies.

• Que dit la documentation de GPT-4 ?

Les Plug-ins de ChatGPT, un « game changer » ?

Le 23 mars, OpenAI a dégainé une nouvelle carte : les plug-ins, pour le moment disponibles en version alpha pour douze entreprises partenaires et pour les développeurs et utilisateurs inscrits sur la liste d’attente. Construits par des développeurs tiers, ces outils branchent les services des sociétés à ChatGPT, ce qui permet aux utilisateurs de demander à la machine, en langage naturel, de réserver des vols ou des voitures de location (via Kayak ou Expedia pour le moment, par exemple), de faire ses courses (via Instacart ou Klarna) ou encore de réaliser ses tâches administratives (à l’aide de Fiscal Notes). 

Les équipes d’OpenAI ont aussi construit leurs propres plug-ins, un navigateur web, un interpréteur de code et un plugin de « récupération ». Le premier permet à ChatGPT d’accéder à internet pour y retrouver de l’information. 

Cela pourrait pallier les limitations de durée de son jeu d’entraînement (dont les informations s’arrêtent à 2021) et répondre au manque de source de ses premières réponses. En effet, lorsque ce plug-in est utilisé, la machine fournit les étapes de sa recherche et les liens qu’elle a utilisés pour produire sa réponse. On se souvient néanmoins de précédents tests, comme celui mené par Meta avec son BlenderBot 3, qui se sont mal terminés (la machine avait fini par renvoyer vers des théories complotistes). 

Le deuxième permet à ChatGPT d’exécuter du Python dans un environnement « sécurisé » (sandboxed and firewalled). L’outil gère aussi l’envoi et le téléchargement de document, pour permettre à l’utilisateur de télécharger son travail final. Dernière proposition d’OpenAI, le « retrieval plug-in » permet de soumettre des documents à ChatGPT pour que la machine en extraie les informations les plus importantes. Celui-ci est fourni en open source afin que n’importe quel développeur puisse le déployer pour analyser ses documents.

Certains observateurs (parfois un brin grandiloquents) estiment que l’ajout de ces technologies est un « game changer », dans la mesure où elles apportent des pistes de solutions à certains des risques posés par les LLMs. Pour Laodis Ménard, les modèles d’intelligence artificielle à la ChatGPT présagent « d’une nouvelle version d’internet où la manière d’appréhender les interfaces va évoluer très fortement ». 

Si, jusqu’ici, il fallait se rendre sur un service précis et y remplir des cases pour réserver un trajet en avion ou en train, avec des telles machines, illustre l’entrepreneur, « on va pouvoir aller demander à la machine en langage naturel « trouve-moi un train pour aller de telle ville à telle autre », demander au robot de réaliser des tâches de calculs en langage courant, lui poser des questions auxquelles il répondra grâce à son accès aux navigateurs web… » 

L’IA va-t-elle (encore) nous remplacer ?

Autres éléments soulevés par Laodis Ménard et Marie : les annonces de Google et Microsoft concernant l’intégration de ces modèles à leurs suites d’outils de bureautique. « En un clic, vous pourrez demander à la machine de résumer la conversation que vous avez eue pour en faire une liste, imagine le premier, ou bien lui dire « prends mes notes, fais en une présentation ». »

Laodis Ménard en est convaincu, « dans beaucoup de métier, nous allons devenir des relecteurs de la production des IA. Les gens les moins compétents seront vite remplacés, puisque la seule manière de se différencier résidera dans la démonstration d’un vrai style ou d’une pertinence spécifique dans la recherche d’information ». Quoique plus mesurée – pour elle, ce sont des tâches et non des postes complets qui seront affectés – Marie estime aussi que « tous les emplois qui font de la synthèse d’information seront touchés, principalement des cols blancs : des journalistes, des juristes… » 

Des études comme celle cosignée par trois employés d’OpenAi et un chercheur de l’Université de Pennsylvanie, « GPTs are GPTs : an early look at the Labor market impact potentiel of Large Language Models », ou cette autre, qui affirme que ChatGPT obtient de meilleurs scores en annotation de données que des micro-travailleurs humains, vont dans leur sens. Mais les débats font rage dans le milieu scientifique. 

Le sociologue Antonio Casilli s'agace par exemple du flou des données avancées par le second texte. Quant à Salima Benhamou, elle estime de son côté que « l’impression qu’une technologie puisse remplacer à elle seul un métier est vraiment une idée de développeur ». Pour bien appréhender les effets de l’intelligence artificielle sur le travail, continue-t-elle, il faut d’abord « être expert du domaine. Le travail ne dépend pas que de la technologie, mais aussi des réglementations en vigueur, de l’offre de compétences sur le marché, du jeu concurrentiel, de l’acceptabilité sociale… » 

Il y a quelques années, pointe-t-elle, au moment des grandes avancées des modèles de reconnaissance d’images, « on nous annonçait déjà que l’intelligence artificielle remplacerait tous les radiologues. J’ai une nouvelle pour vous : les radiologues sont toujours en poste. »

Les biais discriminants, une restriction dans les capacités de génération ?

Ce qui inquiète l’économiste, en réalité, de même que Marie, ce sont les multiples problématiques déjà présentes de ces machines. La seconde évoque ainsi la question « des erreurs et des biais, qui peuvent être écrits de manière très assertive par les machines. Si une entreprise re-publie un texte produit de cette manière sans correction, cela peut créer de vrais problèmes d’images et de crédibilité. »

Nous l’avions évoqué, des clichés racistes et sexistes existants dans la société ont été embarqués dans ChatGPT. Dans la newsletter The Algorithm, la journaliste Melissa Heikkilä détaille de son côté comment Stable Diffusion ou DALL-E 2 tendent à produire un seul et même type de personne pour représenter un ou une « professeur », un ou une « CEO », et ainsi de suite : face à ce type de requêtes, les robots renvoient dans l’immense majorité des cas des portraits d’hommes blancs, pourquoi pas à lunettes, effaçant la diversité de personnes qui existent sur la planète.

Créé par l’entreprise Hugging Face avec l’Université de Leipzig, StableBias permet de tester et de constater par soi-même ces problématiques sociales encodées dans trois des plus grands modèles de génération d’images, DALL-E et les deux dernières versions de Stable Diffusion. Piste de solution : une équipe de l’Université technique de Darmstadt s’est associée à Hugging Face pour créer Fair Diffusion, un outil qui facilite la modification des résultats apportés par les technologies de génération d’images.

• Peut-on corriger les biais des algorithmes ?

Comme expliqué dans un précédent article, cela dit, il faudra plus que de l’ingénierie de pointe pour régler ces problématiques : un rapport du National Institute of Standards and Technology (NIST) soulignait en 2022 que les biais présents dans les machines n’étaient que la partie émergée d’un iceberg comprenant aussi les biais humains et les discriminations plus systémiques. 

Même en sachant cela, et « même si OpenAI se dit philanthropique, on n’a aucune information sur les données qu’ils collectent et qu’ils utilisent pour entraîner leurs modèles », pointe Marie. Le manque de transparence des constructeurs la pousse à recommander la prudence aussi bien dans l’interprétation des résultats que du partage d’information avec les différents modèles d’IA génératifs.

Données personnelles et cybersécurité

Car ces technologies soulèvent aussi de réels enjeux de cybersécurité. Fin mars, ChatGPT a été mis quelques heures hors ligne après avoir partagé des informations sensibles avec des utilisateurs qui n’auraient pas dû y avoir accès. Selon le communiqué d’OpenAI, autour de 1,2 % des abonnés de ChatGPT Plus avaient été affectés par le bug qui avait rendu visible certains éléments d’informations de paiement à d’autres usagers.

Parmi les données exposées, des combinaisons de prénoms et nom, adresse e-mails, adresse de paiement, des quatre derniers chiffres et de la date d’expiration de cartes bancaires. Aucune série complète de chiffres de cartes bancaires n’auraient été exposés. C’est à cause de cette faille, et parce qu’OpenAI n’a pas prévenu suffisamment rapidement les usagers touchés, que ChatGPT a été interdit temporairement en Italie. 

Les modèles génératifs facilitent aussi la création de campagnes d’escroquerie ou de phishing, souligne Marie, « et cela touchera aussi bien les particuliers que les entreprises, qui peuvent toutes et tous recevoir des mails d’arnaque, potentiellement de plus en plus compliqués à repérer ». 

La lettre ouverte, une distraction ? 

Est-ce qu’à ce titre la lettre ouverte cosignée par de multiples personnalités du monde de la tech et appelant à un arrêt de six mois dans les expérimentations sur les IA génératives était une bonne idée ? Personne, parmi celles et ceux que nous avons interviewées, ne souscrit à l’idée de bloquer l’innovation, même temporairement.

Le chercheur et artiste Eryk Salvaggio estime que la peur de l’intelligence artificielle, entretenue entre autres par les signataires de la lettre ouverte, sert quelqu’un. La question est qui ? Et comment y répondre, en tant que société ? Lui argumente que cela va dans l’intérêt de ceux qui peuvent se servir de ce paravent pour continuer d’expérimenter dans leur coin. 

La linguiste Emily Bender s’agace de son côté de ce qu’elle qualifie de « fantasme de techniciens » et enjoint les politiques à « ne pas tomber dans la distraction de la hype de l’IA ». L’informaticienne Sasha Luccioni souligne enfin que les experts du domaine travaillent déjà depuis des années à proposer des méthodes de sécurisation pour les principaux modèles d’IA. 

• Danger des grands modèles de langage : des chercheuses avaient prévenu

« Ces technologies posent des enjeux très importants d’éthique et de régulation, insiste encore l’économiste Salima Benhamou. Nous avons besoin d’une plus grande traçabilité » de ce qui a servi à construire les modèles, de ce qui continue d’y être intégré. « Nous avons besoin de transparence, nous avons besoin, aussi, de garder en tête les limites de ces machines et de s'interroger sur l'utilité réelle d'un modèle comme ChatGPT. » 

• [Interview] Promesses et limites de l'éthique de l'intelligence artificielle

Parmi elles, il faudra aussi songer à leurs limitations physiques : l’entraînement d’un seul modèle peut consommer autant d’énergie que la consommation de 120 foyers américains sur un an, rappelle Bloomberg, sachant que selon certaines études, l’entraînement ne constitue que 40 % de la consommation complète du modèle une fois celui-ci mis en utilisation.

Une variété d’usages à continuer d’explorer

Pour Jon Stokes, cofondateur d’Ars Technica, la relative ouverture de GPT-4 et les promesses du fondateur d’OpenAI Sam Altman d’en laisser l’accès au plus grand nombre dès que possible sont autant de preuves qu’il y a encore du travail à faire, « en groupe », « à grande échelle », pour comprendre ce qu’un modèle génératif peut apporter au long terme.

• Comment se construit la confiance dans un logiciel de génération automatique de code ?

Parmi quelques applications intéressantes, citons celle imaginée par la start-up Be My Eyes, dont l’application vise normalement à connecter des personnes mal- ou non voyantes avec des volontaires voyants pour que ces derniers aident les premiers à décoder une image ou une situation. Be My Eyes est en train de tester une fonctionnalité de « volontaire virtuel » reposant sur GPT-4, dans laquelle la machine s’occupe de décrire l’image sous forme de texte (dans toutes sortes de langues). 

Ou encore l’outil de sensibilisation aux enjeux du changement climatique construit par le cabinet Ekimetrics, ClimateQ&A. Aussi surnommé GiecGPT, du nom du Groupe d’experts intergouvernemental sur l’évolution du climat, l’outil sélectionne les dix extraits les plus pertinents du dernier rapport du GIEC pour répondre à toute question que vous pourriez avoir sur le climat, rapporte le média Vert.

Marie, de son côté, pose une question ouverte : « tout le monde n’a pas la même capacité à utiliser ce type d’outils. Est-ce que, parce qu’ils nous permettront d’interagir en langage naturel, ils vont faciliter l’accès de nouvelles personnes au monde numérique, ou est-ce qu’ils vont créer une fracture supplémentaire ? »

Si vous voulez tenter d’y répondre en menant vos propres explorations, sachez que le média The Rundown a recensé une multiplicité d’outils dédiés… à la meilleure prise en main des IA génératives – comment écrire les meilleures requêtes, comme détecter la présence de contenu synthétique – autant qu’à son intégration à des processus de travail classiques – création de texte, de musique, de vidéo, amélioration de la productivité, traitement de données, etc.