Après la question des données, de la formation et de la recherche, passons à l'éthique et la parité dans l'intelligence artificielle. Avec le machine learning, il n'est en effet pas toujours facile (voire possible) de justifier une décision prise par un ordinateur. Avec le développement tous azimuts de l'IA, ce problème va prendre de l'ampleur.
Dans cette troisième partie sur le rapport autour de l'intelligence artificielle de Cédric Villani, nous allons nous pencher sur la notion d'éthique d'une intelligence artificielle, d'autant plus problématique que les algorithmes fonctionnent comme des « boîtes noires ».
Cette question déborde évidemment sur celle des armes autonomes létales et de la police prédictive, des sujets sensibles. Le rapport plaide ainsi pour que les systèmes d'intelligence artificielle soient équitables et ne laissent personne sur le bord de la route.
Notre dossier sur le rapport de Cédric Villani sur l'intelligence artificielle :
- Intelligence artificielle : à la découverte des 235 pages du rapport de Cédric Villani
- Rapport de Cédric Villani sur l'IA : formation, emplois, écologie et « excellence » à la française
- IA : éthique des « boîtes noires », parité et armes autonomes dans le rapport de Cédric Villani
- Intelligence artificielle : des propositions de Cédric Villani au discours d'Emmanuel Macron
Une boîte noire « dont on comprend mal le fonctionnement »
Comme le prédisait IBM lors de sa conférence « 5 in 5 » (lire notre compte rendu), Cédric Villani souhaite des « technologies d'intelligence artificielle conformes à nos valeurs et normes sociales ». Un des principaux problèmes rencontrés est le syndrome de la « boîte noire » : des données en entrée, d'autres en sortie et des algorithmes au milieu... « dont on comprend mal le fonctionnement », y compris dans la communauté scientifique.
Par exemple, pour qu'une intelligence artificielle classe automatiquement des photos de chiens et chats, il faut lui donner des millions d'images en exemple, et elle finit par « apprendre » toute seule. Par contre, « il est virtuellement impossible d’écrire à la main un programme suffisamment robuste pour classer toutes les images avec un grand degré d’exactitude à partir des valeurs pixel par pixel ».
Certaines décisions doivent pouvoir être expliquées, justifiées
Cédric Villani indique qu'il est donc « presque impossible de suivre le cheminement de l’algorithme de classement ». Si pour l'image d'un chat ou d'un chien les conséquences sont assez limitées, ce n'est pas le cas lors de l'attribution d'un prêt ou d'une décision ayant trait à la vie d'une personne.
Sur certains sujets sensibles, il n'est en effet pas imaginable que des décisions importantes puissent être prises sans que des explications soient possibles. Et encore, ce n'était que l'arbre qui cache la forêt : comment savoir si un biais dans les résultats viendrait des données, de l'algorithme ou des deux ? Impossible à dire, là encore à cause du syndrome de la boîte noire.
Le rapport en profite pour rappeler la loi informatique et liberté de 1978, repris en substance dans l'article 22 du RGPD : « aucune décision administrative ou privée impliquant une appréciation sur un comportement humain ne peut avoir pour seul fondement un traitement automatisé d’informations donnant une définition du profil ou de la personnalité de l’intéressé ». De plus, « toute personne a le droit de connaître et de contester les informations et les raisonnements utilisés dans les traitements automatisés dont les résultats lui sont opposés ».
Afin d'améliorer les choses, trois pistes de réflexion : « la production de modèles plus explicables bien sûr, mais aussi la production d’interfaces utilisateurs plus intelligibles et la compréhension des mécanismes cognitifs à l’œuvre pour produire une explication satisfaisante ».
À ce sujet, la CNIL rappelait récemment que disposer du code source ne serait pas d'une grande utilité puisque la (très) grande majorité des gens seraient incapables de comprendre son fonctionnement. La gardienne des libertés individuelles ne souhaite donc pas uniquement de la transparence, mais aussi de l'intelligibilité.
Le code est plus « rapide » que la loi
Cette transition passera donc par une adoption de la protection des droits et des libertés afin de prendre en compte les abus potentiels liés à l'utilisation d'une IA. Problème : « la loi ne peut pas tout, entre autres car le temps du droit est bien plus long que celui du code ». Les chercheurs, ingénieurs et développeurs doivent donc prendre « leur part » dans cette transformation en « agissant de manière responsable ».
L'idée d’un « corps d’experts publics assermentés » est mise sur le tapis. Il serait en mesure de procéder à des audits d’algorithmes, des bases de données et de procéder à des tests en situation. Les experts pourraient être saisis à l’occasion d’un contentieux judiciaire ou d'une demande du Défenseur des droits.
Pour mener une vérification, il n'est pas toujours nécessaire d'examiner le code source : l'expert peut tester l'équité et la loyauté d'un système en lui soumettant des données et en analysant ses réponses.
Sensibiliser pour faire prendre conscience
Afin que l'éthique soit prise en compte dès la conception, le rapport souhaite sensibiliser à cette problématique dans les formations supérieures, dont cette notion est quasiment absente.
S'appuyant sur l'idée de l'étude d'impact imposée par le RGPD (article 35), le rapport en préconise une autre sur les risques de discrimination d'une telle technologie. Objectif, « obliger les développeurs d’IA à se poser les bonnes questions, au bon moment ».
Par exemple, le manque de diversité (au sens large du terme), peut conduire à des biais, involontaires dans le meilleur des cas. Quelques exemples :
« On constate par exemple que les algorithmes de ciblage publicitaire de Google sont plus susceptibles de proposer aux femmes des offres d’emploi moins rémunérées, que les algorithmes de modération de YouTube tardent parfois à réagir et permettent la circulation virale de contenus choquants, ou encore que les algorithmes de prédiction de la criminalité favorisent une surveillance accrue des quartiers pauvres afro-américains. »
Police prédictive et armes létales autonomes
Mis en avant dans plusieurs films, les systèmes de police et de justice prédictifs doivent être étudiés avec prudence, notamment au vu des résultats en demi-teinte aux États-Unis : « ils comportent non seulement d’importantes limites techniques, mais ils peuvent également se révéler attentatoires aux libertés fondamentales (vie privée, droit à un procès équitable) ».
Autre risque, une surveillance de masse généralisée. Pour affiner les systèmes d'intelligence artificielle de police prédictive, une idée simple serait d'accroitre la quantité de données à leur disposition. Or, pour y arriver rapidement, il « suffirait » d'augmenter le nombre d'individus surveillés.
La question des systèmes d'armes létales autonomes (SALA) n'est pas nouvelle. Elle est même débattue au sein de la Convention sur certaines armes classiques (CCAC) de l’ONU – suite à une demande de la France dès 2013 – avec une première réunion fin 2017. L'année dernière, une centaine d'experts (dont Elon Musk, Mustafa Suleyman et Jérôme Monceaux) avaient d'ailleurs adressé une lettre ouverte aux Nations Unies pour que le sujet ne soit pas laissé de côté.
Avant tout chose, un des premiers problèmes est de définir ce qu'est une arme létale autonome, « d’autant qu’il n’existe pas à ce jour de réalisation concrète de ce type d’armes… du moins qui soit publique ». Actuellement, nous naviguons alors entre deux eaux : « d’un côté un périmètre trop inclusif qui freine les partisans d’une régulation, qui risquerait de mettre à mal des capacités existantes ou le développement de capacités de pointe, et d’un autre côté un périmètre trop exclusif qui n’engloberait aucun système pertinent ».
Les armes autonomes sont comparables aux voitures, avec plusieurs degrés d'autonomie en fonction de leurs capacités. Le rapport émet l'idée d'élaborer une échelle pour les SALA, inspirée de celle pour les véhicules. Elle aurait une vertu pédagogique et contribuerait à dépassionner des débats. En effet, avant d'atteindre une arme autonome ayant l'équivalent d'un niveau 5 dans le monde de l'automobile, « il faudra une rupture technologique qui n’a pas encore eu lieu aujourd’hui (pour beaucoup d’experts, elle est encore lointaine et peu crédible) ». Or, ce niveau 5 soulève justement le plus de préoccupations. Un consensus pourrait ainsi être trouvé pour les premiers niveaux, quitte à prendre plus de temps pour les derniers.
Dans tous les cas, le rapport préconise la création d'un observatoire sur la non-prolifération des armes autonomes, sur le même principe que les armes nucléaires, biologiques et chimiques. En France, « il est affiché et assumé que la responsabilité d’engager la force létale appartient toujours à l’humain ».
Un comité national d'éthique et un « G29 » de l'éthique de l'IA ?
Comme bien d'autres avant lui, le rapport de Cédric Villani se demande s'il existe des domaines où « le jugement humain, aussi faillible soit-il, ne devrait pas être remplacé par une machine ». Il souhaite développer un Comité consultatif national d’éthique pour les technologies numériques et l’intelligence artificielle dont la mission serait « d'organiser le débat public, de façon lisible, construite et encadrée par la loi ». Si possible en fédérerant autour d'un réseau européen, sur le modèle du « réseau des CNIL ».
« Ses recommandations pourront servir de référence pour la résolution de dilemmes éthiques (par exemple sur le véhicule
autonome) et donc servir de standard pour les développements en IA ». La question du choix des victimes en cas d'accident mortel inévitable doit aussi se poser (lire notre analyse). Rappelons que même si les chercheurs font tout pour éviter qu'un véhicule se mette dans cette situation, le risque zéro n'existe pas.
Le récent cas de l'accident mortel d'Uber nous le prouve une fois encore, après celui, mortel également, d'une Tesla Model S avec le pilote automatique activé.
La parité dans l'IA... Quelle parité ?
Dans un registre différent, « l’intelligence artificielle ne peut pas être une nouvelle machine à exclure » affirme le rapport. Il ajoute qu'« en dépit d’une féminisation lente, mais progressive des filières scientifiques et techniques, le numérique fait figure d’exception : la parité entre les hommes et les femmes est loin d’y être acquise »... et on ne peut absolument pas le contredire sur ce point.
Les femmes représentent « près de la moitié de l’humanité mais à peine 33 % des personnes du secteur numérique et 12 % seulement, si l’on écarte les fonctions transversales et supports », calcule le rapport. Coïncidence, on retrouve quasiment le même pourcentage (environ 14 %) sur le nombre de femmes dans la mission de Cédric Villani (une sur sept membres).
Vouloir changer est une chose, y arriver par contre...
La mixité pourrait être atteinte avec 40 % d’étudiantes dans le numérique (prépas, grandes écoles et universités)... d’ici 2020. Un calendrier ambitieux nécessitant une politique (forte) d'incitation pour avoir une chance d'aboutir. Labélisation et récompenses sont des pistes envisagées, mais est-ce suffisant ?
Il faudrait en effet réussir à changer profondément les mœurs. Même si la situation évolue (doucement) depuis plusieurs années aux niveaux régional et national (notamment avec des directives de l'Éducation nationale pour envoyer plus de filles dans des carrières scientifiques), c'est encore loin d'être parfait et les mentalités sont difficiles à faire bouger. Il y a ainsi plus de filles en Hypokhâgne/Khâgne et de garçons en Maths Sup/Spé. En généralisant un peu : les filles en littérature et les garçons en science, aussi bien pour les études que les emplois (une conséquence logique).
Ce n'est pas tout : cette disparité se retrouve bien souvent dans les jeux de données et donc dans les intelligences artificielles qui s'en servent. Pour schématiser, lorsqu'on est malade et face à une intelligence artificielle pour une analyse, il vaut mieux être un homme caucasien qu'une femme africaine.
Afin d'inciter les différents maillons de la chaine à « diversifier » le secteur, le rapport présente une idée : « Un fonds en faveur de projets développant des IA inclusives et non discriminantes pourrait être mis en place chez BPI France ou à la FrenchTech, également en faveur d’entreprises du numérique porteurs de projets à fort impact social et environnemental, et s’engageant en faveur de la diversité et de la mixité ».
N'exclure personne et savoir à qui on s'adresse : humain ou IA ?
L'IA ne doit pas non plus laisser sur le carreau les personnes en difficulté avec les nouvelles technologies. Chaque citoyen doit donc avoir « le droit de savoir à qui il s’adresse, qu’il s’agisse d’un agent public ou bien d’un assistant virtuel (principe d’identification) » et « recourir à un être humain en cas d’erreur ou de problème dans l’utilisation du service (principe de recours à un humain) ».
Une recommandation déjà faite par le psychiatre Serge Tisseron dans le rapport sur l'IA de l'Office parlementaire d'évaluation des choix scientifiques et technologiques : « Dans les démocraties, il est nécessaire que le citoyen connaisse toujours l’origine des messages auxquels il est confronté ».
Pour résumer, l'IA dans la fonction publique ne sera bénéfique que si elle « améliore les conditions de travail des agents publics au bénéfice des usagers ». La mission de Cédric Villani recommande ainsi la création d'un « système automatisé d’aide à la gestion des démarches administratives qui vise à améliorer la connaissance pour le grand public des règles administratives et de leur application à une situation personnelle ».
Commentaires (18)
#1
C’est inquiétant tout ça. D’une part parce que ce système de boîte noire représente un risque absolu. Ex : qui dit qu’une IA ne pourra pas anticiper ces fameux tests d’algo, les audits et les tests d’équité et s’adapter à ça et donc “tricher” d’une certaine façon. A partir du moment où l’IA doit statuer sur un comportement humain, ce n’est ni plus ni moins qu’une forme de jeu d’échec à une toute autre échelle bien sûr, mais on voit dans quelle direction tend tous les jeux où se confrontent humain et IA : l’humain n’a plus les moyens d’anticiper et de prévoir autant qu’une IA et ça ne s’arrangera pas…
" />
D’autre part, en ce qui concerne les SALA, le souci est le top secret. Comment ça se passe pour proposer une loi sur quelque chose qui n’est pas censé exister, qui peut être existe déjà ou en partie et dont on ne sait pas où on en est ?
Bref… comme je le disais, inquiétant. Et y a de plus en plus de convergences sur les inquiétudes liées à l’IA sauf que ça bouge hyper lentement….
#2
Le problème de boite noire ne se pose pas seulement sur des IA “générales” (comme dans la SF) et qui sont encore très loin.
Il se pose aussi pour les types d’IA que l’on fait de nos jours, c’est à dire des réseaux de neurones ultra spécialisé qui prennent en entrée des data et output une réponse après apprentissage.
Exemple:
J’input une image et ca m’output ce que c’est, si je passe un homme d’origine africaine et que ca répond “gorille” (c’est déjà arrivé à Google), c’est très dur de savoir pourquoi, et encore plus de “corriger” le réseau (Google avait juste filtré “gorille” en sortie pour ne jamais sortir ça pour corriger par exemple).
Les algos sur lesquels ca va poser problèmes, c’est “j’entre toute la situation de la personne, ça me sort si il peut avoir un crédit”, avec les algo de scoring c’est compliqué mais on peut dire quel facteur influence un résultat donné, avec un réseau de neurones c’est beaucoup plus compliqué de savoir pourquoi le score est ce qu’il est (on ne sait pas encore faire).
#3
#4
J’y connais rien en IA, mais on ne peut pas avoir une sortie plus détaillée si ça a été conçu pour faire une sortie détaillée à l’origine ?
Au lieu de sortir une seule note, il sortirait plusieurs notes. Ca reviendrait peut-être à faire tourner plusieurs IA plus spécialisées sur le cas, mais ça permettrait d’expliquer un peu mieux les choses.
La grosse boite noire qui dit juste oui ou non, c’est le genre de chose qu’on devra bannir dans certains domaines. A moins de partir du principe que toute personne à qui on a dit non aura son cas réétudié par des humains.
Dans le cas d’un crédit, dire oui trop souvent à certaines personnes, ça n’est pas les aider non plus. J’ai franchement l’impression que l’IA dans ce cas, ça servira plus à vérifier que l’avis de l’IA concorde avec celui des humains et qu’en cas de désaccord, il faudra pousser l’étude plus loin. Au final, réduction des risques, mais pas des coûts d’étude.
#5
Je pense que ça ne ferait que déplacer le problème. Au lieu d’avoir un seul résultat inexplicable, tu aurais tout un tas de résultats inexplicables, là où parfois le jugement humain peut discuter de différents paramètres.
" />
Imaginons l’exemple du prêt : tu pourrais avoir un paramètre santé et espérance de vie avec un très mauvais scoring et un prêt refusé par une IA, alors q’une personne pourrait discuter, négocier, trouver des solutions à ce genre de paramètres. Le truc, c’est que l’IA ne te dirait pas pourquoi, comment et selon quels paramètres elle définie que ce critère doit rejeter le prêt. En ce qui concerne une personne, il y a toujours matière à discuter.
Enfin, une IA qui dit oui ou non, c’est le principe de base du binaire : les inputs outputs sont des successions de oui/non qui fait que quel que soit l’enrobage que l’on mettra autour, une IA, un algo, tout ce qui touche à l’informatique fonctionnera toujours de façon manichéenne si je ne m’abuse. Même si l’enrobage donnera l’apparence que non. Les algorithmes sont des successions de oui/non, même si l’ensemble peut être d’une très grande complexité. Il n’y a pas de niveaux de gris, sauf en apparence.
Enfin, ce n’est que mon point de vue.
#6
#7
A quand une IA pour remplacer les assemblées ?
" />
#8
#9
#10
Merci, tu peux te lancer dans la vulgarisation de l’IA sur youtube, tu as surement de l’avenir.
C’était vraiment cool de prendre le temps de l’expliquer.
Si les valeurs intermédiaires n’ont pas toujours un sens, ça ne nous avancera à rien.
#11
Merci, en soit je ne suis qu’une personne passionnée par ce domaine, j’ai surtout lu pas mal de truc, mais je suis loin d’en avoir fait le tour. C’est vrai que c’est assez difficile d’avoir une explication simple des choses. C’est un domaine très mathématique et moi même, n’étant pas mathématicien de base, je manque pas mal d’outils pour bien comprendre (et j’ai en horreur les formules mathématiques, même si elle sont précises, elles ne sont pas très explicites : il faut passer un temps fou pour les décoder).
Sinon, si, les valeurs intermédiaires ont un sens (normalement), c’est juste que ce n’est pas forcément quelque chose de compréhensible.
Je vais prendre un autre exemple, l’outil Word2Vec. Pour mettre dans le contexte, l’analyse de textes (natural language processing/Traitement automatique du langage naturel/NLP) nécessite de traiter des mots. Or, un mots, si on le représente comme une suite de lettre, ce n’est pas très informatif sémantiquement parlant : “beau”, “bien”, “bon”, “convenable”, “correct”, “digne”, “honnête”, “honorable” et “sortable” sont des synonymes, mais on voit clairement qu’ils ne s’écrivent pas de la même manière.
En plus, on aimerait bien les représenter dans un nombre fini de valeurs (quelque chose de taille fixe et plus facile à traité que quelque chose de taille variable), leur taille variant énormément, on aurait pu les décrire au travers de leur position dans le dictionnaire (Nième mot du dico). Mais cette position est encore moins informative que la séquences de caractères.
Du coup, les mec bossant dans le domaine du NLP ont essayé de convertir les mots en un ensemble fixe de valeur (un vecteur). Chaque valeur dans ce vecteur va être lié à une caractéristique sémantique du mot. Mais comme on est un peu flemmard, et bon, ne sachant pas trop quoi prendre comme critère sémantique, laissons les math faire leur boulot.
L’idée de départ est de se dire que lorsque l’on utilise un mot, les mots autours (proche dans le texte) sont sémantiquement liés. Du coup, notre but est d’apprendre une fonction qui prend en entrée un mot et ressort en sortie les mots retrouvés dans son entourages (on utilise un corpus de texte pour l’apprentissage), mais on fait en sorte qu’entre l’entrée et la sortie, on convertie l’information en un certain nombre de valeur. Une fois que l’apprentissage fait, c’est cette ensemble de valeurs qui servira de vecteur pour chaque mot.
Premier truc intéressant, c’est que des mot partageant des sens proches vont avoir des valeurs proche(en soit, c’est logique, il sont utilisé dans des contextes similaire). On peut voir ça plus ou moins dans cette projection.
C’est que 2 couples de mots partageant le même lien sémantique vont partagé un différence de valeur similaire. Prenons comme couple (Paris, France) et (Berlin, Allemagne), le lien sémantique est “est la capitale de” (Paris est la capitale de la France, Berlin et la capitale de l’Allemagne). Mais si on soustrait valeur par valeur, le vecteur pour “Paris” au vecteur pour “France”, on obtient à peu près les même valeur que pour les valeur pour “Berlin” et “Allemagne”. Exemple donnée par la doc de tensorflow.
Du coup, on peut même jouer à retrouver des analogies avec un peu de math (Paris est à la France ce que Madrid est à X”).
En soit, je en sais pas si quelqu’un s’est amusé à analyser à quoi correspondait chacune de ces valeurs. Mais elles ont un sens certain, mais qui n’est pas forcément un concept que l’on a.
#12
Oui, ça va poser un problème en particulier pour la loi Numérique :
en cas de demande, les administrations sont obligées de communiquer l’algorithme et les poids des critères ayant servi à une prise de décision - et de manière intelligible !
Mais comment vont-elles faire quand c’est un réseau neuronal qui a été utilisé,
quand la décision ne dépend pas tant de l’algorithme lui-même (qui décrit l’architecture du réseau),
mais de la façon dont le réseau a été éduqué (y compris les données qui ont été utilisées dans son éducation),
et les poids associés à chaque neurone sont rarement compréhensibles !
(Je pense qu’un statut juridique va être nécessaire pour les “IA”…)
#13
Je suis désolé, mais je ne comprends pas vraiment ton explication, en particulier :
f(x)=x étant la fonction identité, comment peux-tu avoir une chose différente à la sortie de celle de l’entrée?
#14
Ça m’apprendra à taper trop vite, je ne sais pas pourquoi, j’ai cru que la fonction représentait les neurones eux-mêmes, plutôt que ce que l’on demande à faire au réseau…
#15
Tout d’abord, ce qui peut être intéressant, c’est le goulot d’étranglement. L’algo permet d’encoder l’information de tel sorte qu’elle soit compressé, mais cette encodage (et décodage du même coup) est appris sur un jeu de donnée (l’exemple classique sont des image 2828 de chiffres manuscrits, voici ce que ça peut donner ici avec une compression des 2828=784 valeurs à 10 valeurs seulement en haut l’image original, en bas l’image recrée). Si tu lui donne quelque chose d’autre en entrée, ce qu’il a “appris” pour compresser ces images ne seront pas adapté. D’après ce que j’ai lu, c’est pour ça que ce n’est près de remplacer le jpeg.
Ensuite, comme je l’ai dit, justement pour évité que l’algo apprenne une simple fonction d’identité, on altère les données en entrée mais on cherche quand même à restaurer la donnée d’origine au final. Par exemple, pour une image, on va lui donnée en entrée une image bruité ou avec des trous. Voici un autre exemple. Du coup en modifiant un peu, on peu utiliser ce principe pour améliorer des images, augmenter leur résolution, et même les coloriser.
#16
Extrêmement intéressant
Merci pour les nombreuses interventions
#17
Euh, peut-être que je suis un vieux con mais personne n’a pensé à ne pas utiliser l’IA dans certains domaines un peu trop sensibles (comme les armes létales par exemple) ?
Ce serait peut-être plus simple. Plutôt que d’essayer d’expliquer un truc qu’on ne comprend pas vraiment.
#18
C’est “marrant” dans un rapport de ce genre de parler d’éthique et juste ensuite de confondre égalité et égalitarisme à travers le besoin de parité. Si un mathématicien de renom met les pieds dans le plat, j’ose imaginer ce qu’il en est du péquin moyen lors de la construction de son code “éthique”.
Ca donne le ton quand à la difficulté des valeurs à définir avant de les injecter dans le code.
car on parle ici de la parité dans le domaine de l’IA, mais il faut surtout parler de la parité dans les resultatsde code de l’IA !
IMHO, si les données une fois contrôlées affichent un écart de parité quelconque il est bon de le noter pour ne pas éxécuter un code qui crée un biais de confirmation, mais il est aussi bon de ne pas le travestir pour obtenir l’égalité, car ceci est aussi un biais de confirmation, celui de la non égalité. La rechercher revient à forcer la main d’un côté de la non parité au profit de l’autre, sans que l’intérêt de cette balance soit analysé avant !