IA : éthique des « boîtes noires », parité et armes autonomes dans le rapport de Cédric Villani

Comme le prédisait IBM lors de sa conférence « 5 in 5 » (lire notre compte rendu), Cédric Villani souhaite des « technologies d'intelligence artificielle conformes à nos valeurs et normes sociales ». Un des principaux problèmes rencontrés est le syndrome de la « boîte noire » : des données en entrée, d'autres en sortie et des algorithmes au milieu... « dont on comprend mal le fonctionnement », y compris dans la communauté scientifique.

Par exemple, pour qu'une intelligence artificielle classe automatiquement des photos de chiens et chats, il faut lui donner des millions d'images en exemple, et elle finit par « apprendre » toute seule. Par contre, « il est virtuellement impossible d’écrire à la main un programme suffisamment robuste pour classer toutes les images avec un grand degré d’exactitude à partir des valeurs pixel par pixel ».

Certaines décisions doivent pouvoir être expliquées, justifiées

Cédric Villani indique qu'il est donc « presque impossible de suivre le cheminement de l’algorithme de classement ». Si pour l'image d'un chat ou d'un chien les conséquences sont assez limitées, ce n'est pas le cas lors de l'attribution d'un prêt ou d'une décision ayant trait à la vie d'une personne.

Sur certains sujets sensibles, il n'est en effet pas imaginable que des décisions importantes puissent être prises sans que des explications soient possibles. Et encore, ce n'était que l'arbre qui cache la forêt : comment savoir si un biais dans les résultats viendrait des données, de l'algorithme ou des deux ? Impossible à dire, là encore à cause du syndrome de la boîte noire.

Le rapport en profite pour rappeler la loi informatique et liberté de 1978, repris en substance dans l'article 22 du RGPD : « aucune décision administrative ou privée impliquant une appréciation sur un comportement humain ne peut avoir pour seul fondement un traitement automatisé d’informations donnant une définition du profil ou de la personnalité de l’intéressé ». De plus, « toute personne a le droit de connaître et de contester les informations et les raisonnements utilisés dans les traitements automatisés dont les résultats lui sont opposés ». 

Afin d'améliorer les choses, trois pistes de réflexion : « la production de modèles plus explicables bien sûr, mais aussi la production d’interfaces utilisateurs plus intelligibles et la compréhension des mécanismes cognitifs à l’œuvre pour produire une explication satisfaisante ».

À ce sujet, la CNIL rappelait récemment que disposer du code source ne serait pas d'une grande utilité puisque la (très) grande majorité des gens seraient incapables de comprendre son fonctionnement. La gardienne des libertés individuelles ne souhaite donc pas uniquement de la transparence, mais aussi de l'intelligibilité.

Le code est plus « rapide » que la loi

Cette transition passera donc par une adoption de la protection des droits et des libertés afin de prendre en compte les abus potentiels liés à l'utilisation d'une IA.  Problème : « la loi ne peut pas tout, entre autres car le temps du droit est bien plus long que celui du code ». Les chercheurs, ingénieurs et développeurs doivent donc prendre « leur part » dans cette transformation en « agissant de manière responsable ».

L'idée d’un « corps d’experts publics assermentés » est mise sur le tapis. Il serait en mesure de procéder à des audits d’algorithmes, des bases de données et de procéder à des tests en situation. Les experts pourraient être saisis à l’occasion d’un contentieux judiciaire ou d'une demande du Défenseur des droits.

Pour mener une vérification, il n'est pas toujours nécessaire d'examiner le code source : l'expert peut tester l'équité et la loyauté d'un système en lui soumettant des données et en analysant ses réponses.

Sensibiliser pour faire prendre conscience

Afin que l'éthique soit prise en compte dès la conception, le rapport souhaite sensibiliser à cette problématique dans les formations supérieures, dont cette notion est quasiment absente.

S'appuyant sur l'idée de l'étude d'impact imposée par le RGPD (article 35), le rapport en préconise une autre sur les risques de discrimination d'une telle technologie. Objectif, « obliger les développeurs d’IA à se poser les bonnes questions, au bon moment ».

Par exemple, le manque de diversité (au sens large du terme), peut conduire à des biais, involontaires dans le meilleur des cas. Quelques exemples : 

« On constate par exemple que les algorithmes de ciblage publicitaire de Google sont plus susceptibles de proposer aux femmes des offres d’emploi moins rémunérées, que les algorithmes de modération de YouTube tardent parfois à réagir et permettent la circulation virale de contenus choquants, ou encore que les algorithmes de prédiction de la criminalité favorisent une surveillance accrue des quartiers pauvres afro-américains. »

Police prédictive et armes létales autonomes

Mis en avant dans plusieurs films, les systèmes de police et de justice prédictifs doivent être étudiés avec prudence, notamment au vu des résultats en demi-teinte aux États-Unis : « ils comportent non seulement d’importantes limites techniques, mais ils peuvent également se révéler attentatoires aux libertés fondamentales (vie privée, droit à un procès équitable) ».

Autre risque, une surveillance de masse généralisée. Pour affiner les systèmes d'intelligence artificielle de police prédictive, une idée simple serait d'accroitre la quantité de données à leur disposition. Or, pour y arriver rapidement, il « suffirait » d'augmenter le nombre d'individus surveillés.

La question des systèmes d'armes létales autonomes (SALA) n'est pas nouvelle. Elle est même débattue au sein de la Convention sur certaines armes classiques (CCAC) de l’ONU – suite à une demande de la France dès 2013 – avec une première réunion fin 2017. L'année dernière, une centaine d'experts (dont Elon Musk, Mustafa Suleyman et Jérôme Monceaux) avaient d'ailleurs adressé une lettre ouverte aux Nations Unies pour que le sujet ne soit pas laissé de côté.

Avant tout chose, un des premiers problèmes est de définir ce qu'est une arme létale autonome, « d’autant qu’il n’existe pas à ce jour de réalisation concrète de ce type d’armes… du moins qui soit publique ».  Actuellement, nous naviguons alors entre deux eaux : « d’un côté un périmètre trop inclusif qui freine les partisans d’une régulation, qui risquerait de mettre à mal des capacités existantes ou le développement de capacités de pointe, et d’un autre côté un périmètre trop exclusif qui n’engloberait aucun système pertinent ». 

Les armes autonomes sont comparables aux voitures, avec plusieurs degrés d'autonomie en fonction de leurs capacités. Le rapport émet l'idée d'élaborer une échelle pour les SALA, inspirée de celle pour les véhicules. Elle aurait une vertu pédagogique et contribuerait à dépassionner des débats. En effet, avant d'atteindre une arme autonome ayant l'équivalent d'un niveau 5 dans le monde de l'automobile, « il faudra une rupture technologique qui n’a pas encore eu lieu aujourd’hui (pour beaucoup d’experts, elle est encore lointaine et peu crédible) ». Or, ce niveau 5 soulève justement le plus de préoccupations. Un consensus pourrait ainsi être trouvé pour les premiers niveaux, quitte à prendre plus de temps pour les derniers.

Dans tous les cas, le rapport préconise la création d'un observatoire sur la non-prolifération des armes autonomes, sur le même principe que les  armes nucléaires, biologiques et chimiques. En France, « il est affiché et assumé que la responsabilité d’engager la force létale appartient toujours à l’humain ».

Un comité national d'éthique et un « G29 » de l'éthique de l'IA ?

Comme bien d'autres avant lui, le rapport de Cédric Villani se demande s'il existe des domaines où « le jugement humain, aussi faillible soit-il, ne devrait pas être remplacé par une machine ». Il souhaite développer un Comité consultatif national d’éthique pour les technologies numériques et l’intelligence artificielle dont la mission serait « d'organiser le débat public, de façon lisible, construite et encadrée par la loi ». Si possible en fédérerant autour d'un réseau européen, sur le modèle du « réseau des CNIL ».

« Ses recommandations pourront servir de référence pour la résolution de dilemmes éthiques (par exemple sur le véhicule
autonome) et donc servir de standard pour les développements en IA ». La question du choix des victimes en cas d'accident mortel inévitable doit aussi se poser (lire notre analyse). Rappelons que même si les chercheurs font tout pour éviter qu'un véhicule se mette dans cette situation, le risque zéro n'existe pas.

Le récent cas de l'accident mortel d'Uber nous le prouve une fois encore, après celui, mortel également, d'une Tesla Model S avec le pilote automatique activé.

La parité dans l'IA... Quelle parité ?

Dans un registre différent, « l’intelligence artificielle ne peut pas être une nouvelle machine à exclure » affirme le rapport. Il ajoute qu'« en dépit d’une féminisation lente, mais progressive des filières scientifiques et techniques, le numérique fait figure d’exception : la parité entre les hommes et les femmes est loin d’y être acquise »... et on ne peut absolument pas le contredire sur ce point.

Les femmes représentent « près de la moitié de l’humanité mais à peine 33 % des personnes du secteur numérique et 12 % seulement, si l’on écarte les fonctions transversales et supports », calcule le rapport. Coïncidence, on retrouve quasiment le même pourcentage (environ 14 %) sur le nombre de femmes dans la mission de Cédric Villani (une sur sept membres).

Vouloir changer est une chose, y arriver par contre...

La mixité pourrait être atteinte avec 40 % d’étudiantes dans le numérique (prépas, grandes écoles et universités)... d’ici 2020. Un calendrier ambitieux nécessitant une politique (forte) d'incitation pour avoir une chance d'aboutir. Labélisation et récompenses sont des pistes envisagées, mais est-ce suffisant ?

Il faudrait en effet réussir à changer profondément les mœurs. Même si la situation évolue (doucement) depuis plusieurs années aux niveaux régional et national (notamment avec des directives de l'Éducation nationale pour envoyer plus de filles dans des carrières scientifiques), c'est encore loin d'être parfait et les mentalités sont difficiles à faire bouger. Il y a ainsi plus de filles en Hypokhâgne/Khâgne et de garçons en Maths Sup/Spé. En généralisant un peu : les filles en littérature et les garçons en science, aussi bien pour les études que les emplois (une conséquence logique). 

Ce n'est pas tout : cette disparité se retrouve bien souvent dans les jeux de données et donc dans les intelligences artificielles qui s'en servent. Pour schématiser, lorsqu'on est malade et face à une intelligence artificielle pour une analyse, il vaut mieux être un homme caucasien qu'une femme africaine.

Afin d'inciter les différents maillons de la chaine à « diversifier » le secteur, le rapport présente une idée : « Un fonds en faveur de projets développant des IA inclusives et non discriminantes pourrait être mis en place chez BPI France ou à la FrenchTech, également en faveur d’entreprises du numérique porteurs de projets à fort impact social et environnemental, et s’engageant en faveur de la diversité et de la mixité ».

N'exclure personne et savoir à qui on s'adresse : humain ou IA ?

L'IA ne doit pas non plus laisser sur le carreau les personnes en difficulté avec les nouvelles technologies. Chaque citoyen doit donc avoir « le droit de savoir à qui il s’adresse, qu’il s’agisse d’un agent public ou bien d’un assistant virtuel (principe d’identification) » et « recourir à un être humain en cas d’erreur ou de problème dans l’utilisation du service (principe de recours à un humain) ».

Une recommandation déjà faite par le psychiatre Serge Tisseron dans le rapport sur l'IA de l'Office parlementaire d'évaluation des choix scientifiques et technologiques : « Dans les démocraties, il est nécessaire que le citoyen connaisse toujours l’origine des messages auxquels il est confronté ».

Pour résumer, l'IA dans la fonction publique ne sera bénéfique que si elle « améliore les conditions de travail des agents publics au bénéfice des usagers ». La mission de Cédric Villani recommande ainsi la création d'un « système automatisé d’aide à la gestion des démarches administratives qui vise à améliorer la connaissance pour le grand public des règles administratives et de leur application à une situation personnelle ».