AI Act : le texte interdit désormais la reconnaissance faciale, la notation sociale et la police prédictive

L'élaboration de l'Artificial intelligence Act progresse au Parlement européen avec l'ajout substantiel d'interdictions d'utilisations de l'IA traitant des données personnelles et notamment la reconnaissance faciale, la notation sociale et la police prédictive. Plusieurs associations de défenses des droits humains et numériques accueillent favorablement ce travail parlementaire européen.

Les discussions progressent dans l’élaboration d’un règlement européen sur l’intelligence artificielle : ce 11 mai, alors qu’ils votaient plusieurs séries d’amendements, les deux comités parlementaires en charge de l’élaboration de l’AI Act se sont accordés sur l’interdiction de la reconnaissance faciale dans les espaces publics et sur celle des outils de « police prédictive », rapporte l'agence Reuters. Ils ont par ailleurs décidé d’imposer des mesures de transparence spécifiques pour les applications d’IA générative de type ChatGPT.

Ces décisions sont saluées par une série d’associations de défenses des droits humains et numériques, comme Access Now ou l’EDRi (European Digital Rights), qui les accueillent comme un « signal fort contre la surveillance », selon les mots d’Algorithm Watch.

Une fois finalisé, le texte doit être soumis à un vote du Parlement européen réuni en plénière, en juin, avant que les derniers détails ne soient conclus en « trilogue », c’est-à-dire lors de discussions incluant des représentants du Parlement européen, du Conseil de l’Union européenne et de la Commission européenne.

• AI Act : un groupe d’associations demande au Parlement européen de protéger les droits fondamentaux
• AI Act : l’IA générative pourrait être régulée par niveaux
• Les Français veulent des explications claires sur les modèles algorithmiques

Le texte inclut aussi maintenant une définition du terme « système d'intelligence artificielle », qui évidemment ne fera pas l'unanimité des spécialistes mais qui a au moins le mérite de permettre de savoir de quoi on cause.

En l'occurrence, le texte (pour l'instant en anglais) [PDF] pose le fait que « système d'intelligence artificielle » veut dire (traduction non officielle) :

« un système basé sur une machine conçu pour fonctionner avec différents niveaux d'autonomie et qui peut, pour des objectifs explicites ou implicites, générer des résultats tels que des prédictions, des recommandations ou des décisions qui influencent des environnements physiques ou virtuels. »

Le texte présente de façon plus explicite que certains usages de l'intelligence artificielle devraient être interdites.

La reconnaissance faciale explicitement interdite

Le texte propose l'interdiction des systèmes d'intelligence artificielle utilisant la reconnaissance faciale, que ce soit par l'extraction « non ciblée » de photos de visages sur Internet (incluant notamment les photos publiées sur les réseaux sociaux) ou de « séquences de vidéosurveillance ».

De même, sont visés les systèmes permettant de déduire les émotions d'une personne physique dans les domaines du maintien de l'ordre, de la gestion des frontières, sur le lieu de travail et dans les établissements d'enseignement.

La police prédictive aussi visée

Alors que le texte avait jusque-là fait l'impasse sur la police prédictive, la nouvelle version interdit maintenant toute vente, mise en service ou utilisation de système d'intelligence artificielle « permettant d'évaluer les risques encourus par des personnes physiques ou des groupes de personnes physiques afin d'évaluer le risque de délinquance ou de récidive [...] ou la répétition d'une infraction pénale ou administrative réelle ou potentielle, sur la base du profilage d'une personne physique ou de l'évaluation des traits de personnalité et des caractéristiques, y compris la localisation de la personne, ou le comportement criminel antérieur de personnes physiques ou de groupes de personnes physiques ».

L'identification biométrique à distance « en temps réel » prohibée

Se justifiant en expliquant que l'utilisation de l'IA dans l'identification biométrique à distance « en temps réel » est « particulièrement intrusive pour les droits et libertés des personnes concernées », qu'elle est imprécise et peut conduire à « des résultats biaisés et avoir des effets discriminatoires », les législateurs considèrent que celle-ci devrait être interdite dans les lieux accessibles au public.

Pour l'identification biométrique « a posteriori », leur position reste la même, sauf dans le cas de la recherche ciblée liée à une infraction pénale grave spécifique qui a déjà été commise, et uniquement sous réserve d'une autorisation judiciaire.

Des usages de l'IA manipulateurs et la notation sociale interdits

L'utilisation et la vente d'un système d'intelligence artificielle qui déploie des techniques « subliminales », « délibérément manipulatrices », « trompeuses » ou « ayant pour objectif ou pour effet de fausser de manière significative le comportement » sont, elles aussi, interdites.

De même, les systèmes qui ciblent « les vulnérabilités d'une personne ou d'un groupe spécifique de personnes, y compris les caractéristiques des traits de personnalité connus ou prédits de cette personne ou de ce groupe de personnes, sa situation sociale ou économique, son âge, ses capacités physiques ou mentales, dont l'objectif ou l'effet est de fausser matériellement le comportement de cette personne » seront explicitement prohibés.

L'utilisation de l'intelligence artificielle pour établir un système de notation sociale en fonction du comportement social, du statut socio-économique et des caractéristiques personnelles est aussi visée et sera interdite par le texte, que celle-ci soit faite au nom d'autorités publiques ou non (alors que la précédente version du texte ne ciblait que l'utilisation par les seules autorités).

Régulation de l'utilisation des modèles de langage utilisés dans les services comme chatGPT

Les parlementaires ont également adapté leur texte aux récentes adoptions des modèles de langage dans l'industrie comme ChatGPT. Il demande à ce que tout « modèle de fondation » (dont font partie les grands modèles de langage) soit déclaré dans une base de l'Union européenne avec les détails le concernant.

Le fournisseur d'une API interrogeant un tel modèle devrait avoir une obligation de coopération avec les entreprises utilisatrices pendant toute la période durant laquelle le service est fourni pour que les risques qu'ils engendrent soient le mieux géré possible.

Ces modèles de fondation devront être accompagnés d'obligation d'information et de documentation technique pour les entreprises qui y ont accès. L'utilisation de ces modèles devra être transparente quant au fait que le contenu est généré par un système d'intelligence artificielle et non par des humains.

Enfin, « étant donné que les modèles de fondation constituent une évolution nouvelle et rapide dans le domaine de l'intelligence artificielle, il convient que la Commission et le Bureau européen de l'IA [nouvelle instance envisagée par le texte, ndlr] surveillent et évaluent périodiquement le cadre législatif et de gouvernance de ces modèles ».

Ce texte doit maintenant être approuvé par l'ensemble du Parlement lors d'un vote mi-juin pour que les négociations avec le Conseil de l'UE débutent.