La CNCDH s’inquiète de l’impact de l’intelligence artificielle sur les droits fondamentaux

La Commission Nationale Consultative des Droits de l’Homme a publié un avis sur la question sensible de l’impact potentiel de l’intelligence artificielle sur les droits fondamentaux. Elle y résume rapidement le contexte, avant de plonger plus en détail sur les points à surveiller et de donner ses recommandations.

Il y a un moins d’un mois, l’Association Française de Normalisation donnait six axes de développement pour l’intelligence artificielle, afin que les pratiques soient encadrées. Afnor oblige, cet encadrement passait par des normes, ces dernières étant contraignantes sur le plan juridique. Responsabilité, gouvernance, management, qualité, transparence, traçabilité, supervision, harmonisation ou encore outils étaient au cœur des attentions.

• Intelligence artificielle : les axes de normalisation de l’Afnor pour une IA de confiance

Un rapport plus récent, daté du 7 avril, a été publié par la CNCDH sur la même thématique. Bien que les craintes exprimées soient en partie similaires, la Commission s’attache plus spécifiquement aux menaces que pourraient faire planer les algorithmes sur les droits fondamentaux si le domaine n’est pas beaucoup plus strictement encadré.

Selon elle, le travail en cours au Parlement européen est un bon début, mais il ne va pas assez loin. Explications.

Un foisonnement aussi important que potentiellement dangereux

La Commission ne remet pas en cause l’intelligence artificielle en elle-même, ni même les bénéfices qu’elle apporte. Elle craint en revanche de laisser ce marché entre les mains de certains gros acteurs et pointe du doigt un fantasme d’autorégulation. Selon elle, la question n’est pas de savoir si l’IA peut empiéter sur les droits fondamentaux, mais ce qu’il convient de faire quand elle franchit la ligne rouge.

Principale inquiétude de la CNCDH ? L’automatisation galopante d’activités jusque-là réservées à l’être humain et, de là, les « dérives d’une nouvelle gouvernance par les données, ainsi que, plus largement, d’atteintes possiblement majeures aux droits fondamentaux, sans compter son impact croissant sur l’environnement ».

« L’intelligence artificielle » étant une appellation floue, la Commission vise en particulier l’apprentissage machine, qui cherche à établir des corrélations entre les informations (phase d’inférence). Il soulèverait des enjeux inédits, car l’absence d’instructions claires de traitement renvoie à la problématique de responsabilité. Dans « certains cas extrêmes », pointe la CNCDH, les concepteurs sont même « incapables de connaître le modèle de fonctionnement auquel est parvenue la machine pour obtenir ses résultats ».

Les inquiétudes de la Commission ne sont pas nouvelles. Elle rappelle qu’en 2017, deux rapports tiraient déjà la sonnette d’alarme dans ce domaine, l’un de la CNIL, l’autre du Défenseur des droits. Il y était principalement question de la capacité pour l’homme de garder la main sur les risques de discrimination, particulièrement l’utilisation d’algorithmes dans le cadre de la lutte contre les fraudes aux prestations sociales, par exemple « en ciblant des catégories de personnes à contrôler en priorité ».

Face aux risques d’excès, la CNCDH a publié dix-neuf recommandations. Comme nous allons le voir, elles couvrent un très large champ.

Un problème de langage

La Commission recommande déjà de changer la terminologie entourant l’intelligence artificielle… à commencer par l’appellation « intelligence artificielle ». Pour elle, il n’est question que de mathématiques, pas d’intelligence. De même, « réseaux de neurones » ou « apprentissage profond » ne renvoient pas explicitement aux capacités réelles de ces mécanismes.

La CNCDH y voit un excès d’anthropomorphisation, avec risque d’impact psychologique, entrainant réticences ou au contraire confiance et acceptation exagérées. Elle propose l’appellation plus générique de « systèmes algorithmiques d’aide à la décision » (SAAD).

Renforcer la législation européenne

Deux constats chagrinent particulièrement la CNCDH. D’une part, l’absence totale de cadre juridique clair autour de l’IA, tant au niveau national qu’international. En Europe, certains règlements n'y font qu'indirectement référence, dont le RGPD. D’autre part, les initiatives d’encadrement émanent pour l’instant des acteurs privés. Ils proposent un nombre croissant de guides d’éthique à l’intention des concepteurs et développeurs, à l’instar du guide « Ethical AI » de Numeum, un syndicat professionnel des entreprises du numérique en France.

Les considérations éthiques sont majoritairement en phase avec les droits de l’homme : autonomie, liberté, respect de la dignité humaine, non-discrimination… Des principes généraux et élémentaires, mais à la portée limitée, puisque dépendants de l’autorégulation des acteurs impliqués, donc « au bon vouloir des industriels et des entreprises ». En outre, ils n’imposent rien aux États.

Sur ce point précis, la CNCDH s’est auto-saisie, signe de son intérêt pour la question. Elle souhaite un cadre juridique contraignant et suit d'autant les travaux du Conseil de l’Europe pour « le développement, la conception et l’application de l’intelligence artificielle, fondés sur les normes du Conseil de l’Europe en matière de droits de l’homme, de démocratie et d’État de droit », que la proposition de règlement sur l’IA par l’Union européenne.

Cette proposition veut « favoriser le développement, l’utilisation et l’adoption de l’intelligence artificielle dans le marché intérieur, tout en respectant un niveau élevé de protection des intérêts publics, tels que la santé et la sécurité et la protection des droits fondamentaux, tels que reconnus et protégés par le droit de l’Union ». Pour la CNCDH cependant, bien qu'il s'agisse d'un préalable nécessaire, ce n’est pas suffisant, car elle ne pose pas les bases du cadre souhaité.

Sa deuxième recommandation est donc simple : en doter le futur règlement. En outre, elle appelle de ses vœux une « Convention 108+ de l’IA », en référence à la version modernisée de la Convention 108 pour la protection des personnes à l’égard des données personnelles. Elle souhaite s’inspirer de ses propres travaux, ainsi que de ceux de la CNIL et du Défenseur des droits pour apporter « les nécessaires modifications du règlement IA de l’UE ».

La troisième recommandation enfonce le clou : une approche fondée sur les droits de l’Homme dans les réformes en cours, « dès lors qu’elles entendent garantir le respect des droits fondamentaux ».

Des interdictions franches

La CNCDH revient sur plusieurs cas abordés par le règlement en gestation, notamment les systèmes reposant sur des composants subliminaux, ceux permettant la notation sociale des personnes physiques ou encore l’identification biométrique à distance en temps réel dans l’espace public, à des fins répressives. La Commission se rallie à l’Europe sur l’idée d’une interdiction pure et simple de ces cas d’utilisation, jugés « particulièrement néfastes ».

Pourtant, elle juge vagues de nombreux termes dans la proposition de règlement, comme « malveillantes » ou « subliminal ». Devant certains mécanismes comme ceux exploités par les réseaux sociaux et les sites d’achat, le plus souvent pour capter l’attention par des moyens détournés, le futur cadre pourrait se montrer inefficace ou trop complexe à appliquer. La CNCDH fustige en particulier le neuromarketing et tout ce qui agit de manière automatisée sur le stimulus humain en vue d’en exploiter les faiblesses.

Autre bête noire de la CNCDH, la notation sociale. Elle se rallie sans équivoque à la position du règlement qui envisage de l’interdire. Mais là aussi, la Commission veut aller plus loin, car la proposition ne prend en compte que deux cas de figure : celui d’un processus piloté par une administration ou une structure privée pour le compte d’une administration. Ce qu’elle souhaite ? Une interdiction totale de la notation sociale par quelque entité que ce soit, publique ou privée. Les réseaux sociaux seraient particulièrement visés.

Enfin, la Commission est vent debout contre toute forme d’identification biométrique à distance au sein de l’espace public, et même de tout lieu accessible au public. Elle admet toutefois que sur les trois exceptions prévues par le règlement, deux sont importantes : la recherche ciblée de victimes potentielles (par exemple un enfant disparu) et la prévention d’une menace « spécifique, substantielle et imminente » pour la vie ou la sécurité des personnes, incluant le terrorisme.

La troisième est la « la détection, la localisation, l’identification ou les poursuites à l’encontre de l’auteur, ou de la personne soupçonnée, d’une infraction pénale visée à l’article 2, paragraphe 2, de la décision-cadre 2002/584/JAI du Conseil ». Comme on peut le voir dans le document en question, il s’agit d’une trentaine d’infractions allant du terrorisme au meurtre, en passant par le racisme, la contrefaçon, le trafic de véhicule, le viol, la cybercriminalité ou même l’escroquerie. Un champ d’application bien trop vaste pour la CNCDH, qui juge la mesure d’interdiction vidée de sa substance si cette exception doit être appliquée.

Elle formule donc trois recommandations dans ce domaine :

• Interdire les interfaces de choix « dès lors qu’elles ont pour objet ou pour effet de manipuler, à leur détriment, les utilisateurs en exploitant leurs vulnérabilités »
• Interdire tout type de notation sociale
• Interdire l’identification biométrique à distance dans l’espace public, en ne gardant que les deux premières exceptions prévues actuellement dans la proposition de règlement européen, avec un « strict encadrement »

Intelligence artificielle et justice : les poils hérissés

La CNCDH se montre plus que suspicieuse à l’égard de ce que pourraient apporter des algorithmes dans le domaine de la justice. Deux types d’utilisation en particulier : la justice prédictive et la reconnaissance des émotions à l’appui d’un processus de sélection.

Elle fustige certaines applications déjà employées aux États-Unis, comme celles calculant le risque de récidive. Il n’y a aucune visibilité sur le processus conduisant au résultat, car non seulement le code n’est pas open source, mais le droit des affaires impose le secret sur les algorithmes comme autant de propriétés industrielles.

En France, « aucune décision de justice impliquant une appréciation sur le comportement d’une personne ne peut avoir pour fondement un traitement automatisé de données à caractère personnel destiné à évaluer certains aspects de la personnalité de cette personne », selon la loi Informatique et libertés de 1978.

Cette formulation n’empêche cependant pas d’autres outils basés sur l’IA, par exemple pour automatiser le calcul d’une indemnisation, selon la Commission. Dans un tel cas, la CNCDH ne peut que déconseiller un fonctionnement basé sur l’apprentissage machine. D’ailleurs, le ministère de la Justice a mis fin en janvier à son expérimentation DataJust dans ce domaine. Deux gros problèmes avaient été mis en lumière : le trop grand nombre de critères à prendre en compte et les moyens énormes à mobiliser pour s’assurer qu’aucun biais ne vienne encrasser l’algorithme.

Pour la reconnaissance des émotions, c’est encore plus simple : les applications se basent sur des technologies ne reposant sur aucune base scientifique sérieuse. Seuls cas envisagés par la CNCDH, la santé et la recherche.

Les recommandations ne sont donc pas étonnantes : interdire l’ensemble, avec éventuellement quelques exceptions sur lesquelles une réflexion poussée devra avoir lieu.

Supervision, études d’impact, sensibilisation et éducation

On rejoint ici le propos de l’Afnor le mois dernier. La CNCDH recommande en effet que tout concepteur de système d’IA évalue l’impact de sa création sur les droits fondamentaux. Si des risques sont identifiés, ils devront être catalogués, en incluant notamment la probabilité et la gravité.

Cette étude d’impact devrait au moins inclure les finalités du traitement, la mention des droits fondamentaux susceptibles d’être affectés, un examen de nécessité et de proportionnalité des atteintes (s’il y en a), les procédures de suivi de l’application et les mesures d’atténuation des risques encourus (s’il y en a).

La Commission recommande également « d’assurer préalablement à la décision d’y recourir, une consultation des parties prenantes, selon des modalités adaptées, en incluant par exemple les représentants du personnel et, plus largement, les personnes visées par le système d’IA ». En d’autres termes, éviter l’IA chaque fois que c’est possible.

Elle insiste sur le besoin crucial de vigilance continue, notamment parce que les risques et atteintes avérés peuvent surgir plus tard. La Commission rappelle d’ailleurs que les atteintes ne sont pas réservées aux algorithmes eux-mêmes : les données peuvent être fautives, comme on l’a déjà vu. Or, et comme le notait déjà en 2017 le Défenseur des droits, il existe un risque majeur de renforcement des stéréotypes à cause du caractère prédictif des algorithmes, basé sur le comportement ou les caractéristiques homogénéisées.

Selon la Commission, tout cela ne peut fonctionner que si les enjeux sont connus et maîtrisés, et que le public et les acteurs ont été sensibilisés. Elle recommande donc « de favoriser les investissements publics dans la conception d’outils de formation et d’information accessibles au plus grand nombre », ainsi que « l’organisation de consultations nationales sur le modèle des États généraux de la bioéthique ».

Si la sensibilisation concerne les adultes qui auraient besoin d’être informés des tenants et aboutissants, les plus jeunes ne sont pas oubliés. La CNCDH recommande ainsi « à l’Éducation nationale de renforcer la formation des élèves aux enjeux techniques, politiques et sociétaux de l’intelligence artificielle et de proposer, à cette fin, des supports pédagogiques à destination des enseignants ». Un ajout logique dans la liste, les usages numériques apparaissant désormais très tôt à l’école.

La place de l’humain au cœur de l’automatisation

C’est dans les dernières pages de son avis que la CNCDH touche au plus près de son activité : la protection des droits de l’Homme. Plus particulièrement, la sauvegarde du caractère humain de tout traitement de données, avec une série de recommandations visant à stopper tout processus aveugle, sur lequel la personne concernée n’aurait aucun levier.

La quinzième recommandation est ainsi centrale. Elle se divise en trois points, d’importance égale : la garantie d’une intervention humaine pour le contrôle des décisions individuelles issues des algorithmes, assurer l’effectivité de cette intervention par une formation appropriée et l’information sur les caractéristiques du système, et assurer aux usagers du service public qu’un interlocuteur humain restera toujours disponible.

En clair, éviter la situation dystopique d’une muraille d’automatismes sans rien pouvoir contester. « La liberté de conscience exige en effet de renforcer l’autonomie des utilisateurs et d’accroître leur maîtrise sur les contenus qui leur sont proposés ». Les recommandations suivantes sont donc toutes liées à cette thématique.

La Commission réclame ainsi un « droit au paramétrage » qui permettrait aux usagers un contrôle complet des critères. Elle souhaite également que les personnes exposées à un système d’IA en soient systématiquement informées. Mieux, toute décision se fondant au moins partiellement sur un traitement algorithmique doit signaler ce dernier. La recommandation suivante est alors évidente : garantir le droit au réexamen, cette fois par un être humain.

La dernière recommandation est en deux parties. La première s’adresse aux administrations : communiquer de manière claire « les informations sur le fonctionnement de l’algorithme, ainsi que sur la part éventuellement prise par une intervention humaine dans le processus de décision ». La deuxième est de réfléchir à un éventuel élargissement d’une telle mesure aux organismes privés.

La Commission nationale consultative des droits de l’homme précise à la fin de son rapport qu’elle continuera à travailler sur l’IA, « tout particulièrement pour examiner ses impacts ». Pour rappel, les avis de la CNCDH ne sont pas contraignants. Une manière pour la Commission de signaler qu’elle ne lâchera pas le morceau.