Stanford pointe le manque de transparence dans les grands modèles d’intelligence artificielle

Alors que les travaux se multiplient pour réguler le domaine de l'intelligence artificielle, l'équipe du Centre de recherche sur les modèles de fondation de Stanford dévoile un index d'analyse de la transparence des modèles d'IA généralistes. Résultat de la toute première analyse : tout le monde peut (largement) mieux faire.

Llama 2, Bloomz, GPT-4… L’intelligence artificielle est revenue sur toutes les lèvres avec l’explosion des modèles génératifs, il y a un an tout juste, qui a créé son lot d’excitation et d’anxiété. La transparence des modèles algorithmique, elle, est un axe de travail promu par le milieu scientifique depuis une bonne dizaine d’années, pour faciliter la confiance et la bonne adaptation de ces nouvelles technologies.

Pourtant, selon une étude menée par Rishi Bommasani et plusieurs autres chercheurs du Center for Research on Foundation Models (CRFM) de l’Institute for Human-Centered Artificial Intelligence (HAI) de Stanford, ni Meta, ni Hugging Face, ni Open AI (qui contient pourtant le mot « open » dans son nom) ni Google n’explosent les scores en matière de transparence de leurs « modèles de fondation » (un terme proposé par le même CRFM en 2021 pour qualifier des modèles algorithmiques généralistes, qui peuvent être adaptés pour réaliser une grande variété de tâches). Selon les scientifiques, ils sont même de moins en moins transparents.

Sur l'index de transparence des modèles de fondation :

• Stanford pointe le manque de transparence dans les grands modèles d'intelligence artificielle
• IA : les « modèles de fondation » et leur index de transparence critiqués

Pour objectifier le phénomène, l’équipe a en effet construit un index de la transparence des modèles de fondation. L’outil comprend 100 indicateurs, dont le but est d’aider à composer une image précise du fonctionnement d’un modèle algorithmique en fonction de la manière dont il est fabriqué, dont il fonctionne, et dont ce fonctionnement influe sur ses diverses applications.

Sur cette échelle de 100, le meilleur résultat de transparence revient au modèle Llama 2 de Meta (54 %), suivi du BLOOMZ de Hugging Face (53 %) puis du GPT-4 d’Open AI.

Crédits : Foundation Model Transparency Index

Augmenter la transparence pour protéger les consommateurs

Pour parvenir à ces résultats, l’équipe a donc construit une échelle de cent critères de transparence, à partir de la littérature scientifique sur l’IA et de l’expérience tirée des problématiques de transparence du côté des réseaux sociaux. Plus mûr que celui de l’IA, ce secteur technologique a lui-même posé des problématiques de confiance et de transparence (et continue de le faire) de manière pressante.

• Promesses et limites de l’éthique de l’intelligence artificielle
• Les Français veulent des explications claires sur les modèles algorithmiques

Plus largement, les auteurs de l’étude soulignent à quel point l’opacité est un problème récurrent de technologies numériques. C’est elle qui a permis l’émergence de designs déceptifs et autres « dark patterns » à travers le web, d’incompréhensions sur diverses logiques de modération, de manipulations de prix ou de pratiques salariales sur divers sites marchands ou applications, etc.

• Droit des consommateurs : 40 % des Français s’estiment insuffisamment protégés en ligne

Analyser le fonctionnement d’un modèle en amont, en fonctionnement et en aval

Pour aider à parer le problème dans le domaine de l’IA, l’équipe de Rishi Bommasani a donc construit un outil qui permet d’analyser trois versants des modèles de fondation.

Un tiers des indicateurs concerne en effet la manière dont les modèles sont construits – les données qui ont servi à leur entraînement, le travail utilisé pour fabriquer ces jeux de données, les ressources informatiques nécessaires, etc. Un autre tiers se concentre sur les capacités du modèle, les risques qu’il embarque, les outils de gestion et leviers de confiance qu’il propose.

Le dernier tiers se penche sur les effets du modèle plus loin sur la chaîne de valeur, lorsqu’il est mis en pratique. Cela concerne par exemple la publication de la politique d’entreprise sur la distribution de son modèle, les questions de protection des données de leurs utilisateurs, la gestion du comportement du modèle, ou encore la mesure dans laquelle l’entreprise développeuse permet de lui communiquer des retours ou de corriger des problématiques constatées par des utilisateurs directement touchés.

Rishi Bommasani explique que l’indicateur a été conçu de manière à éviter les oppositions classiques qui peuvent être faites entre transparence et divers autres éléments (avantages compétitifs, sécurité, vie privée, etc). Selon lui, le fait d’avoir rassemblé des indicateurs dédiés à des éléments et des étapes spécifiques de la vie des modèles de fondation permet de passer outre des tensions comme celle qui oppose quelquefois la transparence à la compétitivité.

Crédits : Foundation Model Transparency Index

Pour réaliser sa première analyse des différents modèles existants, l’équipe s’est d’abord appuyée sur toute la documentation disponible en sources ouvertes. Elle a ensuite adressé une série de questions aux différents développeurs dont les travaux ont été analysés, et a intégré leurs réponses à son évaluation.

Offrir un outil d’évaluation aux régulateurs

L’équipe du CRFM a construit cet index dans un contexte d’intenses débats et travaux pour tenter de réguler l’IA un peu partout sur la planète. Son but même, indique Rishi Bommasani sur le site du HAI, est de faciliter le travail des régulateurs et de les aider dans la fabrication de cadres efficaces pour ces technologies.

• Le Parlement européen adopte la loi sur l'intelligence artificielle
• Intelligence artificielle : les critères nécessaires à la confiance, selon le Conseil d'État

Même si le but final est d’obtenir plus de responsabilité dans la construction des modèles algorithmiques, l’outil du CRFM ne s’intéresse pas à la responsabilité des entreprises, signale encore le scientifique. Cela signifie que si une entreprise publie une documentation dans laquelle elle admet utiliser du travail sous-payé pour l’entraînement de ses données, par exemple, elle aura tout de même un point pour la publication desdits documents.

• Peut-on corriger les biais des algorithmes ?
• Tracking exposed, AI Forensics : tenir les constructeurs d’algorithmes responsables
• La fondation Google met 20 millions de dollars pour financer des projets étiquetés « IA responsable »

Les résultats de la première analyse effectuée grâce à cet index permettent aussi à ses créateurs de participer à certains débats qui agitent la communauté de l’IA, à commencer par celui sur la nécessité (ou non) d’ouvrir le code des modèles de fondation. Open AI est par exemple publiquement revenu sur sa promesse d’ouverture (pourtant inscrite dans son nom) et a déclaré qu’il revenait sur sa logique initiale d’open source, pour des raisons de sécurité.

• Que dit la documentation de GPT-4 ?

• GPT-3.5 et GPT-4 régresseraient-ils ?

En effet, deux des trois modèles qui enregistrent le meilleur score selon l’index sont des modèles ouverts (Llama 2 et BLOOMZ). Ils sont même trois parmi les quatre premiers si on y ajoute Stable Diffusion 2. Ce résultat s’explique notamment parce que l’open source fait grimper les scores dans toute la catégorie d’indicateurs qui concentre la fabrication des modèles.

Les auteurs de l’étude fournissent aussi plusieurs pistes de réflexions pour les développeurs de modèles de fondation. Parmi elles, ils poussent chaque acteur à s’inspirer des bonnes pratiques de ses compétiteurs. Ils suggèrent aux utilisateurs de l’ « aval », ceux qui utilisent et déploient des applications des modèles, de demander beaucoup plus de transparence à leurs fournisseurs – les résultats montrent en effet qu'il est pour le moment extrêmement complexe de faire remonter le moindre retour aux constructeurs.

Crédits : Foundation Model Transparency Index

Ils considèrent, enfin, que les régulateurs gagneraient à se concentrer sur des logiques de transparence suffisamment précises (notamment pour éviter de se retrouver coincés par l’opposition entre transparence et sécurité, vie privée ou encore compétitivité) pour dessiner des régulations efficaces.