L'utilisation du mot « open » concernant les intelligences artificielles génératives est-elle pertinente ? Constatant que les termes « open » et « open source » sont souvent utilisés de façons diverses et confuses pour parler des nouvelles solutions d'IA, le sociologue David Gray Widder et les deux chercheuses Sarah Myers West et Meredith Whittaker ont analysé son emploi par les différents acteurs de ces nouvelles technologies.
Dès l'arrivée de la startup OpenAI, qui se présentait à l'époque comme une alliance ouverte pour la recherche sur l'intelligence artificielle, on pouvait sentir que le terme « open » allait de nouveau être utilisé à tort et (parfois) à travers, accolé, cette fois, au terme « IA ».
Mais les déclarations d'ouverture n'ont pas été faites seulement dans le nom de l'éditeur de ChatGPT. Yann Le Cun, scientifique en chef de l'IA chez Meta, affirme que tous les LLM de son entreprise sont « open source ».
C'est que, depuis l'arrivée des logiciels libres et de l' « open source » dans les années 90, on est maintenant habitués à voir le terme mis en avant, tant il charrie une image positive dans la communauté informatique, tout en entretenant des confusions.
Le terme a d'ailleurs fait des émules dans le milieu académique où, depuis les années 2000, on parle d' « open access » et d' « open science ». Célya Gruson, docteure en sciences de l'information et de la communication et spécialisée sur ces questions, parlait d'ailleurs dans sa thèse de l'open access comme d' « un "western scientifique" international à l’ère numérique ».
- L’open science en transition : des pirates à la dérive ?
- Ce que font les grands modèles de langage à la recherche
David Gray Widder (dont on a déjà parlé ici), la chercheuse et présidente de la Signal Foundation Meredith Whittaker et la chercheuse de l'AI Now Institute Sarah Myers West ont mis en ligne un article [PDF] dont le but est de démêler ces confusions et analyser l'utilisation de ce terme concernant les intelligences artificielles génératives.
« open », un terme flou
Ce qu'ils expriment dans cet article, c'est qu'il est difficile de comprendre ce que veut dire « open » dans le contexte des IA génératives. Les termes « open » et « opensource » constituent « souvent plus une aspiration ou un marketing qu'un descripteur technique, et mélangent fréquemment des concepts issus à la fois des logiciels open source et de la science ouverte ». L'Open source initiative (OSI), regroupant beaucoup d'acteurs du numérique, espère réunir chacun autour d'une définition commune. Mais le processus est pour l'instant en cours.
Le problème, selon eux, c'est « qu'en pratique, l'ouverture varie considérablement et peut aller de la mise à disposition au public des ensembles de données d'apprentissage et d'évaluation utilisés pour façonner un modèle d'IA, à la publication du code définissant l'architecture d'un modèle ou ses paramètres hyperparamétriques sous l'une ou l'autre licence open source, à la mise à disposition au public des paramètres appris d'un modèle (poids du modèle), en passant par la fourniture de documentation telle que des cartes de modèles ou des fiches techniques. Mais certains systèmes décrits comme "ouverts" ne fournissent guère plus qu'une API et une licence autorisant la réutilisation, comprenant la commercialisation de la technologie ».
Or, cette utilisation du terme d'« IA ouverte » (en anglais, « 'open' AI ») joue un rôle dans la compréhension du public et des législateurs et à des conséquences sur les débats à propos de la régulation de l'intelligence artificielle. L'Europe est, par exemple, en train de discuter d'un « IA act ».
Confusion avec l'open source historique
Mais les chercheurs expliquent que « ce qui est clair [...], c'est que la définition traditionnelle de l'open source, écrite pour s'appliquer au logiciel à un moment très différent de l'histoire de l'industrie tech, ne couvre pas l'IA ».
Et c'est un problème. Car, pour eux, la transposition sur l' « IA ouverte » de ce que porte l'open source depuis des décennies dans le logiciel « traditionnel » anime « de nombreuses suppositions erronées et des affirmations hyperboliques sur ce qu'elle permet ou ne permet pas ».
« D'une manière générale, les termes "open" et "open source" sont utilisés dans le contexte de l'IA de diverses manières pour désigner une série de capacités que l'on peut globalement classer comme offrant des attributs de transparence – la possibilité d'accéder et de vérifier le code source, la documentation et les données – de réutilisation – la capacité et les licences nécessaires pour permettre à des tiers de réutiliser le code source et/ou les données – et d'extensibilité – la capacité de construire à partir de modèles existants prêts à l'emploi, en les "adaptant" à l'un ou l'autre des objectifs spécifiques. »
Il faut souligner que les trois chercheurs prennent bien soin de noter qu'ils ne prennent « pas position ici sur la question de savoir si l'ouverture de l'IA est "bonne" ou "mauvaise" de manière plus générale ». L'idée de ces chercheurs est de mettre un peu de clarté dans tout ça.
LLaMA-2 de Meta, vraiment ouvert ?
Les chercheurs prennent appui sur la comparaison du modèle GPT-Neo proposé par EleutherAI avec LLaMA-2 de Meta, décrits tous deux comme des systèmes d'IA ouverts.
« Bien que LLaMA-2 puisse être téléchargé gratuitement et que ses poids de modèle soient disponibles, il ne remplit pas les critères clés qui lui permettraient d'être considéré comme open source », affirment-ils. Sa licence a été écrite « from scratch » par Meta et n'est pas compatible avec la définition de licence open source de l'OSI, selon eux. LLaMA-2 manque aussi de transparence, notamment sur les données d'entrainement. « Cette envergure très limitée a conduit certains à affirmer que LLaMA-2 ne mérite pas d'être considéré comme open source », expliquent-ils, faisant référence, entre autres, à la position de l'OSI sur le sujet.
De l'autre côté, GPT-Neo a été développé et maintenu sous la licence MIT et les poids, paramètres et des informations détaillées sur l'entrainement et la configuration de son modèle sont disponibles. « En plus, il a été entrainé sur une base de données disponible en libre accès, The Pile, qui a aussi été créée par EleutherAI », remarquent les chercheurs
« Le cas OpenAI »
Plus loin dans l'article, les trois auteurs reviennent sur « le cas OpenAI ». Ils l'utilisent comme cas d'école de l' « ouverture comme marketing ». Les chercheurs rappellent qu'OpenAI a été lancé en 2015 comme un laboratoire de recherche à but non lucratif qui revendiquait comme mission de « créer de la valeur pour tout le monde plutôt que pour les actionnaires » et encourageait ses employés à « publier leur travail, que ce soit sous forme d'articles, de billets de blog ou de code ».
Mais ils expliquent que, dès le début, sa version de l'ouverture était très limitée. « Elle n'inclut ni gouvernance ouverte, ni contribution démocratique ou collaborative, ni open data, ni accès ouvert aux ressources coûteuses requises pour créer de grands modèles d'IA », remarquent-ils.
David Gray Widder et ses collègues prennent comme exemple la publication en 2019 de GPT-2 pour montrer l'ambivalence d'une société dont le nom contient « open » et qui annonce avoir créé ce modèle, tout en décrivant comme « trop dangereux » pour être publié.
Connor Leahy, tout juste diplômé, puis des chercheurs de l'Université de Brown ont publié leurs propres versions de GPT-2, forçant finalement OpenAI à faire de même.
« Qu'est-ce qui est "ouvert" exactement dans l'IA "ouverte" et que permet l'IA "ouverte" ? »
Mais l'IA existe au-delà du simple marketing. Dans leur article, les trois chercheurs analysent tout ce qui est ouvert dans l'IA « ouverte », des infrastructures de développement (development frameworks, en anglais) aux modèles en eux-mêmes en passant par la gestion des calculs sur les GPU, les données ainsi que l'accès au travail humain de labellisation, calibration et de modération.
Du côté des infrastructures de développement, ils rappellent que les deux principales, PyTorch (créé par Meta/Facebook) et TensorFlow (créé Google), sont en open source, principalement financées par les deux entreprises qui les ont créées. Les chercheurs considèrent qu'elles permettent un développement et un déploiement de l'IA « plus rapide, plus prédictible et plus robuste », mais font remarquer qu'elles permettent dans le même temps à Meta et Google de contrôler la standardisation de la construction des IA.
Une alternative open-source au logiciel de NVIDIA par OpenAI
Pour le calcul, les trois chercheurs font remarquer que son coût est un frein significatif pour la réutilisation des systèmes d'IA ouvertes. L'entrainement sur des jeux de données énormes nécessite des infrastructures peu communes. Ils rappellent que l'entreprise Semi Analysis a évalué à 4 milliards de dollars l'investissement effectué par Microsoft pour déployer ChatGPT dans Bing. Et Meredith Whittaker et ses collègues ajoutent que ces investissements ne diminuent pas nécessairement après la phase préliminaire de développement et que modèles après modèles, globalement, « ce besoin de plus en plus grand de calculs ne semble pas s'estomper ».
Concrètement, à ce sujet, ils rappellent que la plupart sont effectuées sur les GPU propriétaires de NVIDIA, avec son propre logiciel, CUDA, dont les sources ne sont pas accessibles. OpenAI a développé une alternative open-source à CUDA, Triton, mais celle-ci ne fonctionne, pour l'instant, qu'avec les GPU de NVIDIA. OpenAI n'exclut pas les contributions pour étendre à d'autres GPU mais n'investit pas dans ce sens.
L'indispensable travail humain peu accessible
Les trois chercheurs font remarquer, comme d'autres avant, que les créateurs de modèles d'IA, et en particulier Google et OpenAI/Microsoft, entretiennent un flou plus important sur les données utilisées pour entraîner la génération actuelle. Les modèles actuels qui donnent des informations sur le sujet dépendent essentiellement de deux bases de données accessibles gratuitement, « Common Crawl » et « the Pile ». Mais ils rappellent qu' « en pratique, ceux qui utilisent ces ensembles de données pour former et évaluer des modèles d'IA utilisent souvent le travail et la propriété intellectuelle d'autres personnes, en invoquant le "fair use", même si ces affirmations reposent sur des bases juridiques fragiles ».
Comme on l'a déjà indiqué Next INpact, les chercheurs évoquent aussi l'indispensable travail humain de labellisation, calibration et de modération en expliquant que si ces travailleurs sont payés peu pour ce genre de tâches et de façon précaire, les besoins sont si énormes pour obtenir un modèle d'IA que peu d'entreprises peuvent y payer les nombreuses heures nécessaires.
- Quand chatGPT est utilisé par les « crowd workers » pour entraîner d'autres modèles de langage
- La délicate question du sous-traitement des données d'entraînement de l'IA
Une concentration sur le « fine tuning »
Mais les entreprises qui parlent d'IA ouverte se contentent généralement de se référer à la façon dont elles distribuent leurs modèles, tout en entretenant le flou. Et selon les trois chercheurs, « une grande partie de l'action actuelle dans le domaine de l'IA "ouverte" se concentre sur la tâche la moins coûteuse en termes de calcul, qui consiste à affiner les modèles diffusés ouvertement par les quelques acteurs puissants qui peuvent se permettre de les former à partir de zéro ».
Commentaires (9)
#1
Drôle de choix de nom sachant que NVIDIA développe un serveur d’inférence également nommé Triton…
#2
Sauf erreur, ce tableau de comparaison de l’ouverture des principaux LLM n’est pas cité : https://opening-up-chatgpt.github.io/
Et j’en profite pour faire de la pub pour mon propre article sur ce sujet : https://framablog.org/2023/07/31/que-veut-dire-libre-ou-open-source-pour-un-grand-modele-de-langage/#comment-105276
#3
Merci beaucoup, Martin, pour cet excellent article, qui fait un état des lieux saisissant de la prétendue “ouverture” du petit milieu de l’AI !
Le problème qui ressort bien c’est que d’un côté, tu as les sommes colossales mises en jeu depuis maintenant longtemps pour développer les fameux jeux de données et bâtir l’infrastructure (frameworks) de ces gros bouzins que sont les AI (et là, t’as beau avoir le coeur un peu pur, tu espères quand même rentrer dans tes frais et même, pourquoi pas, dégager un p’tit bénef’, don’t you ?)…
…et de l’autre côté tu as une bande de chercheurs - plus orientés vers le long terme -, et puis d’autres, plein d’autres, qui sont avant tout des observateurs : neurologues, psychologues, analystes en tout genre, sociologues, économistes, journalistes, juristes… et même politiques, qui cherchent eux à comprendre les implications, les conséquences sur nos sociétés, et éventuellement à en dénoncer des utilisations abusives, anti-démocratiques…
Tout cela fait un beau sandwich avec au milieu des scientifiques qui - ce n’est qu’une impression, basée sur tout ce que je lis et regarde concernant ce sujet - ne peuvent pas travailler sereinement, au rythme de la science, tellement ce sujet est brûlant et pressuré au maximum par les communicants des (grosses) entreprises concernées, qui elles sont plus dans le court terme.
Perso je pense qu’OpenAI (et ses concurrents sur le marché, ainsi que les générateurs d’images et de sons basés sur l’AI) ont sorti leur truc bien trop tôt, bien trop vite, en direction du grand public. Ils auraient dû attendre, laisser les chercheurs chercher à leur rythme, les spécialistes en neurosciences et en sciences humaines bien analyser le truc à fond, tout cela sans cesser de communiquer ouvertement (”open” qu’y disaient - ouais, je sais, je rêve…) avec le public et les médias bien évidemment.
L’AI / le Deep Learning est un champ de recherche absolument passionnant, dont les ramifications sont aussi vastes qu’imprévisibles. Il aurait du le rester, tout simplement. Quelque soit le côté, l’aspect que l’on considère, tout semble inconséquent, improvisé, confus. Les “choses de l’AI” ne sont pas au point, ses limites et ses conséquences pas définies, en conclusion je dirais que nous sommes loin, très loin d’être prêts.
#4
Si le développement de l’IA manque d’ouverture, ainsi que l’entraînement par les grandes entreprise (ce qui est clairement un souci), il ne faut pas oublier l’existence de tout un monde open source dans le domaine.
Notamment présent sur Hugging Face où l’on peut retrouver les sources de nombreux datasets et modèles que ce soit pour du texte ou de l’image. Hugging Face qui a récemment encore eu une forte levée de fonds et beaucoup d’investissement de la part des grosses entreprises de l’IT.
Entreprise fondée par trois français à New York, accessoirement.
Cela dit, ça ne m’étonnerait pas qu’ils finissent pas se faire racheter, probablement par Microsoft vu que le service est similaire à GitHub car essentiellement basé sur Git.
#5
L’hypocrisie de l’open-source, c’est que 99.9% des utilisateurs veulent qu’un projet soit open-source afin de pouvoir récupérer gratuitement une version précompilée par une team random sur Internet.
Le terme “open” est un raccourci pour “open access to …” = “accès libre à …”.
Sans spécifier le mot après open, on ne peut pas trop dire si on parle de code source, API, document, modèle, … ou du bar de l’hôtel.
#6
Bonjour. Effectivement, l’article de David Gray Widder et al. ne fait pas mention de ce tableau très détaillé et clair de l’ouverture des principaux LLM. Merci pour ce partage. Et votre article sur le sujet me paraît en adéquation avec leur article. :)
#7
l’IA est sortie bien trop tôt, trop vite, en direction du grand public. Ils auraient dû attendre, laisser les chercheurs chercher à leur rythme, les spécialistes en neurosciences et en sciences humaines bien analyser le truc à fond, tout cela sans cesser de communiquer ouvertement avec
le public dans les médias bien évidemment.
je pense aussi !
ils ont confondu ‘vitesse-et-précipitation’ !
(à vouloir aller TROP vite,……..)
#7.1
Je pense plutôt qu’ils souffraient d’un manque de retour de data de leur propre modèle et qu’ils ont été obligé de le tester grandeur nature quitte à le brider comme ce qui a été fait. Ceci dit on doit rester vigilant. Une IA pour moi ça ne sera jamais ça, ce ne sont ni plus ni moins que des moteurs d’analyses de données avec un algorithme bien fait j’en disconviendrait pas mais ce n’est toujours pas de l’IA au sens ou on l’entend communément
Pour le père de Siri, « l’intelligence artificielle n’existe pas
We Demain : Vous êtes l’un des papas de l’assistant vocal Siri, aujourd’hui vice-président innovation de Samsung monde et directeur du laboratoire de recherche en IA de Samsung. Vous venez de publier un livre intitulé L’intelligence artificielle n’existe pas. Pourquoi ce titre ?
Luc Julia : Elle n’existe pas car je ne peux pas vous dire ce que c’est. On a défini en 1956 une discipline nommée intelligence artificielle et je pense que c’était une erreur. On essayait, à l’époque, de modéliser le cerveau. Le but ? C’était de reconnaître la parole, ce qui est la chose la plus compliquée, le propre de l’homme en fait. C’est peut-être ça l’intelligence. Au bout de six ans, on a tout arrêté, car on s’est aperçu qu’on ne savait pas le faire. On a alors connu ce qui s’appelle le premier hiver de l’IA. On aurait dû éliminer la discipline puisque ce n’était pas utile. Si j’avais à garder l’expression IA telle qu’on l’avait pensée à l’époque, j’appellerais ça le machine learning, le deep learning, c’est-à-dire tout ce qui est apprentissage et reconnaissance.
Selon Ray Kurzweil, dès 2029, les machines seront dotées de l’intelligence émotionnelle et prendront le pouvoir. Il envisage que, vers 2045, elles seront plus intelligentes que les humains et donc autonomes. Qu’en pensez-vous ?
Ce transhumaniste dit n’importe quoi. Le fait que les machines puissent être émotionnelles, c’est de la science-fiction, c’est pour faire peur… Avec les techniques actuelles, qui sont des techniques mathématiques basées sur des statistiques – c’est ce que l’on fait depuis soixante ans –, ce n’est pas possible. Les progrès qui ont été réalisés ont été menés au niveau de la mémoire des ordinateurs, de la capacité de calcul et grâce à l’apparition d’internet. Mais, en fait, il n’y a pas eu de progrès dans les algorithmes eux-mêmes et, en gardant ces derniers, il n’y a aucune chance qu’on arrive à ce qu’il dit.
Elon Musk ou Stephen Hawking dénoncent pourtant le risque que l’IA fait porter à l’humanité, qu’en pensez-vous ?
Stephen Hawking était quelqu’un de très fort dans son domaine, il a découvert des trous noirs que personne n’avait vus. Mais les mathématiques appliquées à l’IA n’étaient pas sa discipline. Donc, comment a-t-il pu avoir l’autorité de dire que l’IA allait prendre le pouvoir ? Quant à Elon Musk, c’est un visionnaire du marketing, il est bon en communication mais nul en technologie.
Les gens ont des craintes irréalistes selon vous concernant l’IA. Comment les rassurer ?
Nous, les humains, nous contrôlons tout ! Les algorithmes, c’est nous qui les créons, les datas comme les applications, c’est nous qui les choisissons. Ça ne veut pas dire qu’on ne va pas faire des trucs mauvais. Si vous me demandez de créer un robot tueur, je vais vous faire le robot qui tuera bien mieux que n’importe qui, mais tous les algorithmes, toutes les datas viennent de nous. Ce que font en général toutes les intelligences artificielles, à la fin, c’est de la reconnaissance. Ça veut dire qu’on leur a fait ingurgiter de la connaissance. Et la connaissance, c’est nous qui la possédons. Aucune machine n’est capable de créer de la connaissance.
L’intelligence augmentée, terme que vous substituez à intelligence artificielle, va-t-elle créer du chômage ?
Non, justement, c’est le contraire. Quand les usines de Renault ont mis des robots pour remplacer les ouvriers spécialisés, ça a fait perdre des emplois. Mais ces gens-là représentent ceux qui, précisément, peuvent être « recyclés » dans des tâches plus valorisantes. En 2025, 2035, il y aura des nouveaux métiers, c’est évident… Aussi il est nécessaire de former, éduquer, s’adapter.
Vous définissez l’intelligence augmentée conçue pour renforcer nos capacités, pouvez-vous nous donner un exemple de ce qui va nous apporter le bien-être ?
Un exemple, dans le domaine de l’imagerie médicale. Un radiologue dans sa carrière voit un nombre limité de radios. Imaginons qu’on puisse récupérer toutes les radios qui existent dans le monde, la machine aura évidemment un avantage énorme par rapport à lui. Ainsi sera-t-elle en capacité de trouver des cancers beaucoup plus rapidement que ce l’homme peut faire. Pour ce qui concerne la médecine préventive, il va y avoir de grandes améliorations. Après ça, il y a plein de choses qui vont être améliorées dans la vie quotidienne. Voyons ce qui s’est passé chez Renault où les tâches difficiles, physiques, ont disparu. Ça a commencé dès 1770, avec les premiers métiers à tisser à Lyon…
Le risque n’est-il pas finalement d’être « assistés » plutôt que remplacés ?
Aujourd’hui, on croit qu’on devient un peu plus bête à force d’utiliser toujours Google… Peut-être qu’effectivement notre cerveau se réduit, mais on peut très bien refuser tout cela. C’est là où je dis que c’est une question d’éducation et une question de volonté. Mes enfants par exemple n’ont pas de tablette, pas d’ordinateur, ils ont des livres. C’est mon choix, mon choix pour eux. On peut faire en sorte que les machines nous facilitent la vie afin de se consacrer à ce qui en vaut vraiment la peine.
#8