Vous n'avez pas encore de notification

Page d'accueil

Options d'affichage

Abonné

Actualités

Abonné

Des thèmes sont disponibles :

Thème de baseThème de baseThème sombreThème sombreThème yinyang clairThème yinyang clairThème yinyang sombreThème yinyang sombreThème orange mécanique clairThème orange mécanique clairThème orange mécanique sombreThème orange mécanique sombreThème rose clairThème rose clairThème rose sombreThème rose sombre

Vous n'êtes pas encore INpactien ?

Inscrivez-vous !

IA : éthique des « boîtes noires », parité et armes autonomes dans le rapport de Cédric Villani

Vous pouvez reprendre une activité normale
Tech 11 min
IA : éthique des « boîtes noires », parité et armes autonomes dans le rapport de Cédric Villani
Crédits : wildpixel/iStock

Après la question des données, de la formation et de la recherche, passons à l'éthique et la parité dans l'intelligence artificielle. Avec le machine learning, il n'est en effet pas toujours facile (voire possible) de justifier une décision prise par un ordinateur. Avec le développement tous azimuts de l'IA, ce problème va prendre de l'ampleur.

Dans cette troisième partie sur le rapport autour de l'intelligence artificielle de Cédric Villani, nous allons nous pencher sur la notion d'éthique d'une intelligence artificielle, d'autant plus problématique que les algorithmes fonctionnent comme des « boîtes noires ».

Cette question déborde évidemment sur celle des armes autonomes létales et de la police prédictive, des sujets sensibles. Le rapport plaide ainsi pour que les systèmes d'intelligence artificielle soient équitables et ne laissent personne sur le bord de la route.

Notre dossier sur le rapport de Cédric Villani sur l'intelligence artificielle :

Une boîte noire « dont on comprend mal le fonctionnement »

Comme le prédisait IBM lors de sa conférence « 5 in 5 » (lire notre compte rendu), Cédric Villani souhaite des « technologies d'intelligence artificielle conformes à nos valeurs et normes sociales ». Un des principaux problèmes rencontrés est le syndrome de la « boîte noire » : des données en entrée, d'autres en sortie et des algorithmes au milieu... « dont on comprend mal le fonctionnement », y compris dans la communauté scientifique.

Par exemple, pour qu'une intelligence artificielle classe automatiquement des photos de chiens et chats, il faut lui donner des millions d'images en exemple, et elle finit par « apprendre » toute seule. Par contre, « il est virtuellement impossible d’écrire à la main un programme suffisamment robuste pour classer toutes les images avec un grand degré d’exactitude à partir des valeurs pixel par pixel ».

Certaines décisions doivent pouvoir être expliquées, justifiées

Cédric Villani indique qu'il est donc « presque impossible de suivre le cheminement de l’algorithme de classement ». Si pour l'image d'un chat ou d'un chien les conséquences sont assez limitées, ce n'est pas le cas lors de l'attribution d'un prêt ou d'une décision ayant trait à la vie d'une personne.

Sur certains sujets sensibles, il n'est en effet pas imaginable que des décisions importantes puissent être prises sans que des explications soient possibles. Et encore, ce n'était que l'arbre qui cache la forêt : comment savoir si un biais dans les résultats viendrait des données, de l'algorithme ou des deux ? Impossible à dire, là encore à cause du syndrome de la boîte noire.

Le rapport en profite pour rappeler la loi informatique et liberté de 1978, repris en substance dans l'article 22 du RGPD : « aucune décision administrative ou privée impliquant une appréciation sur un comportement humain ne peut avoir pour seul fondement un traitement automatisé d’informations donnant une définition du profil ou de la personnalité de l’intéressé ». De plus, « toute personne a le droit de connaître et de contester les informations et les raisonnements utilisés dans les traitements automatisés dont les résultats lui sont opposés ». 

Afin d'améliorer les choses, trois pistes de réflexion : « la production de modèles plus explicables bien sûr, mais aussi la production d’interfaces utilisateurs plus intelligibles et la compréhension des mécanismes cognitifs à l’œuvre pour produire une explication satisfaisante ».

À ce sujet, la CNIL rappelait récemment que disposer du code source ne serait pas d'une grande utilité puisque la (très) grande majorité des gens seraient incapables de comprendre son fonctionnement. La gardienne des libertés individuelles ne souhaite donc pas uniquement de la transparence, mais aussi de l'intelligibilité.

Le code est plus « rapide » que la loi

Cette transition passera donc par une adoption de la protection des droits et des libertés afin de prendre en compte les abus potentiels liés à l'utilisation d'une IA.  Problème : « la loi ne peut pas tout, entre autres car le temps du droit est bien plus long que celui du code ». Les chercheurs, ingénieurs et développeurs doivent donc prendre « leur part » dans cette transformation en « agissant de manière responsable ».

L'idée d’un « corps d’experts publics assermentés » est mise sur le tapis. Il serait en mesure de procéder à des audits d’algorithmes, des bases de données et de procéder à des tests en situation. Les experts pourraient être saisis à l’occasion d’un contentieux judiciaire ou d'une demande du Défenseur des droits.

Pour mener une vérification, il n'est pas toujours nécessaire d'examiner le code source : l'expert peut tester l'équité et la loyauté d'un système en lui soumettant des données et en analysant ses réponses.

Sensibiliser pour faire prendre conscience

Afin que l'éthique soit prise en compte dès la conception, le rapport souhaite sensibiliser à cette problématique dans les formations supérieures, dont cette notion est quasiment absente.

S'appuyant sur l'idée de l'étude d'impact imposée par le RGPD (article 35), le rapport en préconise une autre sur les risques de discrimination d'une telle technologie. Objectif, « obliger les développeurs d’IA à se poser les bonnes questions, au bon moment ».

Par exemple, le manque de diversité (au sens large du terme), peut conduire à des biais, involontaires dans le meilleur des cas. Quelques exemples : 

« On constate par exemple que les algorithmes de ciblage publicitaire de Google sont plus susceptibles de proposer aux femmes des offres d’emploi moins rémunérées, que les algorithmes de modération de YouTube tardent parfois à réagir et permettent la circulation virale de contenus choquants, ou encore que les algorithmes de prédiction de la criminalité favorisent une surveillance accrue des quartiers pauvres afro-américains. »

Police prédictive et armes létales autonomes

Mis en avant dans plusieurs films, les systèmes de police et de justice prédictifs doivent être étudiés avec prudence, notamment au vu des résultats en demi-teinte aux États-Unis : « ils comportent non seulement d’importantes limites techniques, mais ils peuvent également se révéler attentatoires aux libertés fondamentales (vie privée, droit à un procès équitable) ».

Autre risque, une surveillance de masse généralisée. Pour affiner les systèmes d'intelligence artificielle de police prédictive, une idée simple serait d'accroitre la quantité de données à leur disposition. Or, pour y arriver rapidement, il « suffirait » d'augmenter le nombre d'individus surveillés.

La question des systèmes d'armes létales autonomes (SALA) n'est pas nouvelle. Elle est même débattue au sein de la Convention sur certaines armes classiques (CCAC) de l’ONU – suite à une demande de la France dès 2013 – avec une première réunion fin 2017. L'année dernière, une centaine d'experts (dont Elon Musk, Mustafa Suleyman et Jérôme Monceaux) avaient d'ailleurs adressé une lettre ouverte aux Nations Unies pour que le sujet ne soit pas laissé de côté.

Avant tout chose, un des premiers problèmes est de définir ce qu'est une arme létale autonome, « d’autant qu’il n’existe pas à ce jour de réalisation concrète de ce type d’armes… du moins qui soit publique ».  Actuellement, nous naviguons alors entre deux eaux : « d’un côté un périmètre trop inclusif qui freine les partisans d’une régulation, qui risquerait de mettre à mal des capacités existantes ou le développement de capacités de pointe, et d’un autre côté un périmètre trop exclusif qui n’engloberait aucun système pertinent ». 

Les armes autonomes sont comparables aux voitures, avec plusieurs degrés d'autonomie en fonction de leurs capacités. Le rapport émet l'idée d'élaborer une échelle pour les SALA, inspirée de celle pour les véhicules. Elle aurait une vertu pédagogique et contribuerait à dépassionner des débats. En effet, avant d'atteindre une arme autonome ayant l'équivalent d'un niveau 5 dans le monde de l'automobile, « il faudra une rupture technologique qui n’a pas encore eu lieu aujourd’hui (pour beaucoup d’experts, elle est encore lointaine et peu crédible) ». Or, ce niveau 5 soulève justement le plus de préoccupations. Un consensus pourrait ainsi être trouvé pour les premiers niveaux, quitte à prendre plus de temps pour les derniers.

Dans tous les cas, le rapport préconise la création d'un observatoire sur la non-prolifération des armes autonomes, sur le même principe que les  armes nucléaires, biologiques et chimiques. En France, « il est affiché et assumé que la responsabilité d’engager la force létale appartient toujours à l’humain ».

Un comité national d'éthique et un « G29 » de l'éthique de l'IA ?

Comme bien d'autres avant lui, le rapport de Cédric Villani se demande s'il existe des domaines où « le jugement humain, aussi faillible soit-il, ne devrait pas être remplacé par une machine ». Il souhaite développer un Comité consultatif national d’éthique pour les technologies numériques et l’intelligence artificielle dont la mission serait « d'organiser le débat public, de façon lisible, construite et encadrée par la loi ». Si possible en fédérerant autour d'un réseau européen, sur le modèle du « réseau des CNIL ».

« Ses recommandations pourront servir de référence pour la résolution de dilemmes éthiques (par exemple sur le véhicule
autonome) et donc servir de standard pour les développements en IA ». La question du choix des victimes en cas d'accident mortel inévitable doit aussi se poser (lire notre analyse). Rappelons que même si les chercheurs font tout pour éviter qu'un véhicule se mette dans cette situation, le risque zéro n'existe pas.

Le récent cas de l'accident mortel d'Uber nous le prouve une fois encore, après celui, mortel également, d'une Tesla Model S avec le pilote automatique activé.

La parité dans l'IA... Quelle parité ?

Dans un registre différent, « l’intelligence artificielle ne peut pas être une nouvelle machine à exclure » affirme le rapport. Il ajoute qu'« en dépit d’une féminisation lente, mais progressive des filières scientifiques et techniques, le numérique fait figure d’exception : la parité entre les hommes et les femmes est loin d’y être acquise »... et on ne peut absolument pas le contredire sur ce point.

Les femmes représentent « près de la moitié de l’humanité mais à peine 33 % des personnes du secteur numérique et 12 % seulement, si l’on écarte les fonctions transversales et supports », calcule le rapport. Coïncidence, on retrouve quasiment le même pourcentage (environ 14 %) sur le nombre de femmes dans la mission de Cédric Villani (une sur sept membres).

rapport Villani membre

Vouloir changer est une chose, y arriver par contre...

La mixité pourrait être atteinte avec 40 % d’étudiantes dans le numérique (prépas, grandes écoles et universités)... d’ici 2020. Un calendrier ambitieux nécessitant une politique (forte) d'incitation pour avoir une chance d'aboutir. Labélisation et récompenses sont des pistes envisagées, mais est-ce suffisant ?

Il faudrait en effet réussir à changer profondément les mœurs. Même si la situation évolue (doucement) depuis plusieurs années aux niveaux régional et national (notamment avec des directives de l'Éducation nationale pour envoyer plus de filles dans des carrières scientifiques), c'est encore loin d'être parfait et les mentalités sont difficiles à faire bouger. Il y a ainsi plus de filles en Hypokhâgne/Khâgne et de garçons en Maths Sup/Spé. En généralisant un peu : les filles en littérature et les garçons en science, aussi bien pour les études que les emplois (une conséquence logique). 

Ce n'est pas tout : cette disparité se retrouve bien souvent dans les jeux de données et donc dans les intelligences artificielles qui s'en servent. Pour schématiser, lorsqu'on est malade et face à une intelligence artificielle pour une analyse, il vaut mieux être un homme caucasien qu'une femme africaine.

Afin d'inciter les différents maillons de la chaine à « diversifier » le secteur, le rapport présente une idée : « Un fonds en faveur de projets développant des IA inclusives et non discriminantes pourrait être mis en place chez BPI France ou à la FrenchTech, également en faveur d’entreprises du numérique porteurs de projets à fort impact social et environnemental, et s’engageant en faveur de la diversité et de la mixité ».

N'exclure personne et savoir à qui on s'adresse : humain ou IA ?

L'IA ne doit pas non plus laisser sur le carreau les personnes en difficulté avec les nouvelles technologies. Chaque citoyen doit donc avoir « le droit de savoir à qui il s’adresse, qu’il s’agisse d’un agent public ou bien d’un assistant virtuel (principe d’identification) » et « recourir à un être humain en cas d’erreur ou de problème dans l’utilisation du service (principe de recours à un humain) ».

Une recommandation déjà faite par le psychiatre Serge Tisseron dans le rapport sur l'IA de l'Office parlementaire d'évaluation des choix scientifiques et technologiques : « Dans les démocraties, il est nécessaire que le citoyen connaisse toujours l’origine des messages auxquels il est confronté ».

Pour résumer, l'IA dans la fonction publique ne sera bénéfique que si elle « améliore les conditions de travail des agents publics au bénéfice des usagers ». La mission de Cédric Villani recommande ainsi la création d'un « système automatisé d’aide à la gestion des démarches administratives qui vise à améliorer la connaissance pour le grand public des règles administratives et de leur application à une situation personnelle ».

18 commentaires
Avatar de Kurton INpactien
Avatar de KurtonKurton- 30/03/18 à 07:12:58

C'est inquiétant tout ça. D'une part parce que ce système de boîte noire représente un risque absolu. Ex : qui dit qu'une IA ne pourra pas anticiper ces fameux tests d'algo, les audits et les tests d'équité et s'adapter à ça et donc "tricher" d'une certaine façon. A partir du moment où l'IA doit statuer sur un comportement humain, ce n'est ni plus ni moins qu'une forme de jeu d'échec à une toute autre échelle bien sûr, mais on voit dans quelle direction tend tous les jeux où se confrontent humain et IA : l'humain n'a plus les moyens d'anticiper et de prévoir autant qu'une IA et ça ne s'arrangera pas...

D'autre part, en ce qui concerne les SALA, le souci est le top secret. Comment ça se passe pour proposer une loi sur quelque chose qui n'est pas censé exister, qui peut être existe déjà ou en partie et dont on ne sait pas où on en est ? 

Bref... comme je le disais, inquiétant. Et y a de plus en plus de convergences sur les inquiétudes liées à l'IA sauf que ça bouge hyper lentement....:fou:

Avatar de gnomesgames Abonné
Avatar de gnomesgamesgnomesgames- 30/03/18 à 07:53:14

Le problème de boite noire ne se pose pas seulement sur des IA "générales" (comme dans la SF) et qui sont encore très loin.
Il se pose aussi pour les types d'IA que l'on fait de nos jours, c'est à dire des réseaux de neurones ultra spécialisé qui prennent en entrée des data et output une réponse après apprentissage.

Exemple:
J'input une image et ca m'output ce que c'est, si je passe un homme d'origine africaine et que ca répond "gorille" (c'est déjà arrivé à Google), c'est très dur de savoir pourquoi, et encore plus de "corriger" le réseau (Google avait juste filtré "gorille" en sortie pour ne jamais sortir ça pour corriger par exemple).

Les algos sur lesquels ca va poser problèmes, c'est "j'entre toute la situation de la personne, ça me sort si il peut avoir un crédit", avec les algo de scoring c'est compliqué mais on peut dire quel facteur influence un résultat donné, avec un réseau de neurones c'est beaucoup plus compliqué de savoir pourquoi le score est ce qu'il est (on ne sait pas encore faire).

Avatar de Nozalys Abonné
Avatar de NozalysNozalys- 30/03/18 à 08:06:16

gnomesgames a écrit :

"j'entre toute la situation de la personne, ça me sort si il peut avoir un crédit"

Tu émet l'hypothèse qu'un gorille ne peut pas souscrire à un crédit ? :xzombi:
:humour:

Avatar de ArchangeBlandin Abonné
Avatar de ArchangeBlandinArchangeBlandin- 30/03/18 à 09:00:50

J'y connais rien en IA, mais on ne peut pas avoir une sortie plus détaillée si ça a été conçu pour faire une sortie détaillée à l'origine ?
Au lieu de sortir une seule note, il sortirait plusieurs notes. Ca reviendrait peut-être à faire tourner plusieurs IA plus spécialisées sur le cas, mais ça permettrait d'expliquer un peu mieux les choses.

La grosse boite noire qui dit juste oui ou non, c'est le genre de chose qu'on devra bannir dans certains domaines. A moins de partir du principe que toute personne à qui on a dit non aura son cas réétudié par des humains.
Dans le cas d'un crédit, dire oui trop souvent à certaines personnes, ça n'est pas les aider non plus. J'ai franchement l'impression que l'IA dans ce cas, ça servira plus à vérifier que l'avis de l'IA concorde avec celui des humains et qu'en cas de désaccord, il faudra pousser l'étude plus loin. Au final, réduction des risques, mais pas des coûts d'étude.

Avatar de Kurton INpactien
Avatar de KurtonKurton- 30/03/18 à 09:41:25

Je pense que ça ne ferait que déplacer le problème.  Au lieu d'avoir un seul résultat inexplicable, tu aurais tout un tas de résultats inexplicables, là où parfois le jugement humain peut discuter de différents paramètres. 
Imaginons l'exemple du prêt : tu pourrais avoir un paramètre santé et espérance de vie avec un très mauvais scoring et un prêt refusé par une IA, alors q'une personne pourrait discuter, négocier, trouver des solutions à ce genre de paramètres. Le truc, c'est que l'IA ne te dirait pas pourquoi, comment et selon quels paramètres elle définie que ce critère doit rejeter le prêt. En ce qui concerne une personne, il y a toujours matière à discuter.

Enfin, une IA qui dit oui ou non, c'est le principe de base du binaire : les inputs outputs sont des successions de oui/non qui fait que quel que soit l'enrobage que l'on mettra autour, une IA, un algo, tout ce qui touche à l'informatique fonctionnera toujours de façon manichéenne si je ne m'abuse. Même si l'enrobage donnera l'apparence que non. Les algorithmes sont des successions de oui/non, même si l'ensemble peut être d'une très grande complexité. Il n'y a pas de niveaux de gris, sauf en apparence. 

Enfin, ce n'est que mon point de vue. :smack:

Avatar de secouss Abonné
Avatar de secousssecouss- 30/03/18 à 11:04:03

:inpactitude: Super analyse, vraiment un sujet très intéressant :) en tout cas le rapport semble réellement balayer le sujet et ouvrir un nombre incalculable de questions et de débats ! Va falloir prioriser ^^

Avatar de Z-os INpactien
Avatar de Z-osZ-os- 30/03/18 à 11:40:58

A quand une IA pour remplacer les assemblées ? :troll:

Avatar de tazvld Abonné
Avatar de tazvldtazvld- 30/03/18 à 13:11:40

ArchangeBlandin a écrit :

J'y connais rien en IA, mais on ne peut pas avoir une sortie plus détaillée si ça a été conçu pour faire une sortie détaillée à l'origine ?
Au lieu de sortir une seule note, il sortirait plusieurs notes. Ca reviendrait peut-être à faire tourner plusieurs IA plus spécialisées sur le cas, mais ça permettrait d'expliquer un peu mieux les choses.

La grosse boite noire qui dit juste oui ou non, c'est le genre de chose qu'on devra bannir dans certains domaines. A moins de partir du principe que toute personne à qui on a dit non aura son cas réétudié par des humains.
Dans le cas d'un crédit, dire oui trop souvent à certaines personnes, ça n'est pas les aider non plus. J'ai franchement l'impression que l'IA dans ce cas, ça servira plus à vérifier que l'avis de l'IA concorde avec celui des humains et qu'en cas de désaccord, il faudra pousser l'étude plus loin. Au final, réduction des risques, mais pas des coûts d'étude.

Oui on peut imprimer les valeurs intermédiaires, mais elle sont très difficiles voir tout simplement impossible à interpréter. C'est justement généralement là l'intérêt d'un aglo d'apprentissage automatique, réaliser des fonctions que l'on est incapable de décrire (sinon on l'aurait codé nous même).

Prenons les réseaux de neurones artificiels comme exemple d'algo d'apprentissage automatique. Tout d'abord, je n'aime pas le mot IA, car la définition est vague, je préfère algorithme d'apprentissage automatique.

Dans le cas des réseaux de neurones, comme de nombreux algo d'apprentissage automatique, c'est surtout des modèles statistiques qui permet de trifouiller les paramètre d'une fonction (un truc qui a des entrées et produit des sorties en retour) pour qu'elle s'approche de ce que l'on souhaite faire. Il n'y a donc rien de magique, juste des mathématiques.

Oui, on peut tout à fait imprimer les valeurs intermédiaires du calcul, mais vu que par essence même, ces valeurs n'ont pas de sens simple, difficile de les comprendre et de les expliquer.

Parmi les réseaux de neurones, prenons en un très simple, l’auto-encoder. Ce réseau a appris à recréer en sortie les même valeurs qu'en entrée. En gros, la fonction c'est f(x) = x. L'utilité peut paraître discutable, mais en fait c'est très utile j'y reviendrais plus tard*. En fait, dans ce réseau de neurones, on fait en sorte que l'information soit réduite. D'une entrée de 100 valeurs par exemple (une image n&b de 10*10) on fait en sorte que cette information soit compressée en seulement 10 valeurs. En soi, ces 10 valeurs décrivent des corrélations complexe entre les 100 valeurs d'entrée. En effet, si 2 valeurs varient tout le temps ensemble, on peut les représenter par une seule valeur. Ca ressemble un peu en une analyse en composantes principales, et tout comme dans cette méthode il est difficile d'expliquer la signification des axes choisi, on ne peut pas vraiment expliquer avec des mots c'est quoi ces valeurs. Bon, on peut bien essayer d'avoir une idée simpliste de ce que correspond cette valeur en remontant à l'envers le réseau pour voir ce qui l'active.

C'est en faisant quelque chose de similaire sur des réseaux convolutifs que google à créer"deep dream" : on a demandé à l'algo de regarder une image, puis de recréer l'image à partir de ce qu'il y a produit en sortie intermédiaire, et réitérer plusieurs fois ceci avec l'image nouvellement créer à chaque fois.

* : un autoencoder peut en effet par exemple servir pour compresser de l'information, supprimer les informations redondantes, c'est très utile pour traiter ces données dans d'autres réseaux de neurones. Un autoencoder est spécialisé pour un jeu de donnée, il sera incapable de régénérer des données qui sortent du "lot", il permet ainsi de facilement reconnaitre des objets similaires à son set d'exemple, mais si tu lui donnes des objets différent, il n'arrivera pas à le recréer à l'identique en sortie. Sinon, il faut savoir que pour améliorer l'apprentissage, on dégrade volontairement la donnée d'entrée, mais on demande toujours de la reproduire au mieux avant dégradation. Ainsi, un peut l'utiliser pour améliorer la qualité d'une image par exemple.

Avatar de Tintin26 Abonné
Avatar de Tintin26Tintin26- 30/03/18 à 14:00:22

tazvld a écrit :

Oui on peut imprimer les valeurs intermédiaires, mais elle sont très difficiles voir tout simplement impossible à interpréter. C'est justement généralement là l'intérêt d'un aglo d'apprentissage automatique, réaliser des fonctions que l'on est incapable de décrire (sinon on l'aurait codé nous même).

[...] améliorer l'apprentissage, on dégrade volontairement la donnée d'entrée, mais on demande toujours de la reproduire au mieux avant dégradation. Ainsi, un peut l'utiliser pour améliorer la qualité d'une image par exemple.

Ouhaou, :inpactitude:

Avatar de ArchangeBlandin Abonné
Avatar de ArchangeBlandinArchangeBlandin- 30/03/18 à 15:02:40

Merci, tu peux te lancer dans la vulgarisation de l'IA sur youtube, tu as surement de l'avenir.

C'était vraiment cool de prendre le temps de l'expliquer.
Si les valeurs intermédiaires n'ont pas toujours un sens, ça ne nous avancera à rien.

Il n'est plus possible de commenter cette actualité.
Page 1 / 2
  • Introduction
  • Une boîte noire « dont on comprend mal le fonctionnement »
  • Certaines décisions doivent pouvoir être expliquées, justifiées
  • Le code est plus « rapide » que la loi
  • Sensibiliser pour faire prendre conscience
  • Police prédictive et armes létales autonomes
  • Un comité national d'éthique et un « G29 » de l'éthique de l'IA ?
  • La parité dans l'IA... Quelle parité ?
  • Vouloir changer est une chose, y arriver par contre...
  • N'exclure personne et savoir à qui on s'adresse : humain ou IA ?
S'abonner à partir de 3,75 €