Loi Bioéthique : une information obligatoire en cas de recours à l’intelligence artificielle

Loi Bioéthique : une information obligatoire en cas de recours à l’intelligence artificielle

Le bon traitement

Avatar de l'auteur
Xavier Berne

Publié dans

Droit

07/08/2019 7 minutes
9

Loi Bioéthique : une information obligatoire en cas de recours à l’intelligence artificielle

Le gouvernement entend profiter du projet de loi Bioéthique pour s’assurer que les dispositifs d’intelligence artificielle « restent sous le contrôle de décisions médicales ». Des dispositions sont en outre prévues pour que les patients soient systématiquement informés du recours à tout « traitement algorithmique de données massives ».

Établissement de diagnostics, suivi de l’évolution de certaines maladies, outils de prévention abreuvés notamment de données issues d'objets connectés... L’intelligence artificielle s’immisce de plus en plus dans le domaine médical, ce qui n’est pas sans poser question.

En septembre 2018, le Comité consultatif national d’éthique (CCNE) s’inquiétait ainsi du « risque de priver le patient, face aux propositions de décisions fournies par des algorithmes, d’une large partie de sa capacité de participation à la construction de son processus de prise en charge ». L’institution évoquait en ce sens « le danger » d’une « minoration de la prise en compte des situations individuelles », par des systèmes informatiques calibrés pour brasser des situations non-spécifiques.

Une « garantie humaine » dans l’interprétation des résultats fournis par l'IA

« Certaines études ont montré que l’efficacité des dispositifs d’intelligence artificielle pouvait égaler voire dépasser celle des meilleurs opérateurs humains pour certaines tâches spécifiques, notamment pour la reconnaissance d’images ou de signaux (interprétation des dispositifs « d’imagerie » ou d’électrocardiogrammes par exemple), ou pour le développement et la mise en œuvre de règles de décision multicritères », reconnait le gouvernement en marge de son projet de loi Bioéthique.

Visiblement sensible aux arguments du CCNE, l’exécutif fait toutefois valoir que la validité des conclusions produites par ces dispositifs peut s’avérer « limitée par des défauts ou biais (volontaires ou non) liés à leur développement et/ou aux bases sur lesquelles s’est réalisé l’apprentissage, mais aussi par les limites des informations effectivement prises en compte au regard des particularités spécifiques propres à chaque situation clinique ».

Or on devine sans mal les implications d’une décision, prise par un algorithme, qui pourrait s’imposer de façon indiscutable aussi bien au professionnel de santé qu’au patient...

Le ministère de la Santé entend ainsi profiter du projet de loi Bioéthique pour renforcer d’une part l’information des patients, et d’autre part garantir une « interprétation humaine » de leurs résultats.

Médecine
Crédits : GuidoVrola/iStock/Thinkstock

Dès lors qu’un « traitement algorithmique de données massives » sera utilisé pour des « actes à visée préventive, diagnostique ou thérapeutique », le professionnel de santé qui en communique les résultats sera à l’avenir tenu d’informer la personne concernée « de cette utilisation et des modalités d’action de ce traitement ».

Le projet de loi Bioéthique impose en outre l’intervention d’un professionnel de santé pour le paramétrage de ces algorithmes, qui devront d’ailleurs pouvoir être « modifié[s] » au besoin. Enfin, une « traçabilité » des actions réalisées est prévue. Les « informations qui en résultent » auront quant à elles vocation à être rendues « accessibles aux professionnels de santé concernés ».

En clair, les médecins devront toujours être susceptibles de remettre en perspective des résultats proposés par une intelligence artificielle, par rapport aux autres informations (notamment cliniques) dont ils peuvent disposer. « Cela permet de garantir que la décision finale, qui s’appuie sur ces dispositifs [algoritmiques, ndlr], est prise par le médecin/professionnel de santé et le patient lui-même, notamment aux fins de respect du principe législatif de consentement éclairé aux soins », explique le gouvernement dans son étude d’impact.

Craintes d'un effet « boîte noire »

Cette réforme « ne remet pas en cause les possibilités de recourir à des dispositifs d’aide au diagnostic ou d’orientation préventive ou thérapeutique performants », soutient au passage l’exécutif. Pas plus que « la place de dispositifs médicaux intégrant des éléments d’intelligence artificielle (par exemple de pacemakers ou de dispositifs de délivrance de médicaments dont le déclenchement est conditionné par l’interprétation, par un dispositif programmé, de signaux biologiques ou physiologiques) ».

Le ministère de la Santé souhaite simplement que « les indications, la programmation et l’utilisation » de ces algorithmes demeurent « sous le contrôle de décisions médicales ». « Le colloque singulier entre le patient et son médecin doit être préservé et il semble indispensable que les dispositifs d’intelligence artificielle restent un appui à une décision humaine sans s’y substituer », insiste l’exécutif.

Le gouvernement espère ainsi éviter que le paramétrage d’un algorithme soit « mal ou difficilement explicable ». Soit « parce que le praticien maîtrise mal cette nouvelle technologie », soit parce qu’il « devient impossible de l’expliquer, par construction, pour certains modes d’apprentissage de l’intelligence artificielle (« deep learning »), pour lesquels l’algorithme développé par le traitement reste opaque (« boîte noire ») ».

Cette mesure devrait enfin permettre, « a contrario, de préciser que l’utilisation de traitement algorithmique basé sur des données de santé recueillies en dehors d’un cadre médical ne peut donner lieu à aucune décision automatique préventive, diagnostique et a fortiori thérapeutique », ajoute l’étude d’impact du projet loi Bioéthique.

Une exigence « d’explicabilité » pas toujours simple à appliquer

Le Conseil d’État a salué l’introduction de ces dispositions, « particulièrement bienvenues ». Dans son rapport de 2018, consacré à la bioéthique, la juridiction administrative affirmait qu’il « serait insuffisant d’exiger, dans un objectif de transparence, la publication d’un code source qui ne contribuerait que marginalement à la compréhension par les médecins, et par les patients, des logiques à l’œuvre dans les dispositifs d’intelligence artificielle ».

L’institution jugeait ainsi « plus réaliste » d’introduire une exigence dite d’explicabilité, « permettant aux utilisateurs de ces dispositifs d’en comprendre la logique générale de fonctionnement ».

Un tel dispositif a d’ailleurs déjà été introduit dans notre droit, en 2016, au sujet des décisions administratives. Taxe d’habitation, allocations familiales, bourses scolaires, impôts sur le revenu, affectation de fonctionnaires, demandes de places en crèche... Depuis le 1er septembre 2017, en application de la loi pour une République numérique, toutes les décisions individuelles prises « sur le fondement d'un traitement algorithmique » doivent être accompagnées d’une « mention explicite » informant l’usager qu’un programme informatique est venu s’immiscer dans la gestion de son dossier.

À chaque fois, ces quelques lignes devraient surtout rappeler au citoyen que l’administration a différentes obligations de transparence à respecter dès lors qu’elle recourt à des algorithmes. En l’occurrence, les acteurs publics sont tenus de fournir, sur demande, et « sous une forme intelligible » :

  • Le « degré et le mode de contribution » du traitement algorithmique à la prise de décision
  • Les données traitées et leurs sources
  • Les « paramètres de traitement et, le cas échéant, leur pondération, appliqués à la situation de l'intéressé »
  • Les opérations effectuées par le traitement

Seul hic : rares sont les administrations à respecter cette obligation... Le législateur s’en est d’ailleurs inquiété, puisqu’à compter du 1er juillet 2020, les décisions administratives prises sur le seul fondement d’un algorithme seront frappées de nullité, dès lors qu’elles ne contiendront pas de « mention explicite » (voir notre article).

D’ici là, le Parlement aura probablement achevé l’examen du projet de loi Bioéthique, qui devrait être débattu à l’Assemblée à partir de la rentrée.

Écrit par Xavier Berne

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Une « garantie humaine » dans l’interprétation des résultats fournis par l'IA

Craintes d'un effet « boîte noire »

Une exigence « d’explicabilité » pas toujours simple à appliquer

Fermer

Commentaires (9)


Ouf !

Un humain aura toujours le pouvoir de décision de nous amputer la jambe gauche pour un cors au pied diagnostiqué.

On est sauvé… <img data-src=" />


Laspeles ?


En voyant le titre, j’ai eu peur, mais en voyant “traitement algorithmique de données massives”&nbsp;&nbsp;j’ai été rassuré.




Le législateur s’en est d’ailleurs inquiété, puisqu’à compter du 1er juillet 2020, les décisions administratives prises sur le seul fondement d’un algorithme seront frappées de nullité, dès lors qu’elles ne contiendront pas de « mention explicite »



Oui enfin on sait très bien qu’ils seront jamais prêts à l’heure et que ça finira CNIL-style “on repousse de 2 ans pour garantir une meilleur applicabilité de la décision, ça sera mieux pour tout le monde”


J’ai l’impression qu’on mélange allègrement algorithme et IA. Il n’est pas possible de connaitre le cheminement d’une IA qui va prendre une décision. (ou plutôt donner une probabilité d’une décision selon le modèle qu’elle a créé par apprentissage)



Le modèle de l’IA a été forgé par essai échec/succès sur un échantillon énorme de données, puis validé avec un autre échantillon. Bref il est impossible de connaître les règles définis par l’IA. Quand bien même nous rétro-ingénierions (beurk) le modèle le cheminement de l’IA ne serait pas intelligible.



Bref proposer la transparence des algorithmes pourquoi pas, demander ceci sur une IA revient à interdire les IA.



Je comprends qu’une IA puisse faire peur, il est normal qu’on puisse exiger un contre-avis humain (attention: l’intérêt de certaines IA est de voir ce que les humains ne voient pas, en ouvrant la voie du biais humain on va perdre le gain de l’IA) par contre il ne faut pas imposer d’explications.


Ca semble une précaution de bon sens.



Après effectivement non seulement il faudrait que les algorithmes soient prouvés mathématiquement mais il faudrait également que l’algo soit à même d’argumenter sa décision/synthèse auprès d’un humain…



Autant on a des outils de preuve mathématique dans certains langages, autant des outils pédagogiques “métier” à ma connaissance ça n’existe pas trop. D’autant moins si ce sont des IAs auto apprenantes…

On fera une loi où il faudra prouver que l’argumentaire n’est pas biaisé ensuite <img data-src=" />

(si quelqu’un connait des technos d’IA qui savent “expliquer” humainement leurs calculs je suis prenneur de refs)



C’est soit un bon gros gisement d’emplois informatique en perspective soit c’est une impasse fonctionnelle et il faudra abandonner notre volonté de contrôler les IAs et de vouloir leur calquer des critères et fonctionnements intellectuels humains…


l’idée est bonne, par contre expliquer l’algorithme ça va être coton.

[troll on]

&nbsp; puis avec le CETA, si l algo vient du Canada, il n y aura aucune obligation de l expliquer, puisque ça ira à l’encontre des accord commerciaux

[troll off]








domFreedom a écrit :



Ouf !

Un humain aura toujours le pouvoir de décision de nous amputer la jambe gauche pour un cors au pied diagnostiqué.

On est sauvé… <img data-src=" />





Non, mais ça n’empêchera pas l’humain d’amputer le bras droit pour une appendicite.







yvan a écrit :



Ca semble une précaution de bon sens.



Après effectivement non seulement il faudrait que les algorithmes soient prouvés mathématiquement mais il faudrait également que l’algo soit à même d’argumenter sa décision/synthèse auprès d’un humain…



Autant on a des outils de preuve mathématique dans certains langages, autant des outils pédagogiques “métier” à ma connaissance ça n’existe pas trop. D’autant moins si ce sont des IAs auto apprenantes…

On fera une loi où il faudra prouver que l’argumentaire n’est pas biaisé ensuite <img data-src=" />

(si quelqu’un connait des technos d’IA qui savent “expliquer” humainement leurs calculs je suis prenneur de refs)



C’est soit un bon gros gisement d’emplois informatique en perspective soit c’est une impasse fonctionnelle et il faudra abandonner notre volonté de contrôler les IAs et de vouloir leur calquer des critères et fonctionnements intellectuels humains…





La preuve généralement, c’est les mesure de sensibilité, spécificité, précision ou rappel sur les données de test. En gros on sait quel sont les probabilité qu’il tape à cotée quand il dit que le gars est malade ou lorsqu’il ne l’est pas (je peux dire tout le temps que le gars est malade, je ne me trompe jamais quand je dit qu’il est sain car je ne le dit jamais et je suis sûr de diagnostiquer tous les vrais malades comme malade).



On veut créer un super thermomètre. Pour ce faire on a étalonner plein thermomètre différent très sophistiqué sur un premier ensemble d’échantillon dont on connaissait la température (jeu d’apprentissage) et on a pris celui qui donné les meilleurs résultat sur un jeu de validation. Enfin, pour évaluer les performance de ce thermomètre on le réatalonne sur les 2 précédant jeu de donné et on passe sur un dernier jeu de donnée qui n’a été pour l’instant jamais utilisé (comme ça on est sûr que la “construction du thermomètre” n’est pas spécifiquement adapté à ce jeu là) : le jeu de test.



au pied droit le cor, évidemment <img data-src=" />