Transparence des algorithmes publics : le gouvernement prêt au bras de fer avec le Sénat

Transparence des algorithmes publics : le gouvernement prêt au bras de fer avec le Sénat

Crise d'algo

Avatar de l'auteur
Xavier Berne

Publié dans

Droit

20/03/2018 6 minutes
33

Transparence des algorithmes publics : le gouvernement prêt au bras de fer avec le Sénat

Le gouvernement s’oppose à ce que toutes les décisions individuelles ne comportant pas de « mention explicite » relative à la transparence des algorithmes publics soient systématiquement considérées comme nulles. Il souhaite également maintenir la « brèche » entrouverte pour Parcoursup. Le Sénat pourrait toutefois en décider autrement.

Afin « d’inciter l’administration à se conformer à la loi [Numérique de 2016] », la commission des lois du Sénat a adopté, mercredi 14 mars, un amendement en vertu duquel l'absence de « mention explicite » relative à la transparence des algorithmes publics provoquerait la « nullité » automatique de la décision en question. Pas moins !

Taxe d’habitation, impôts sur le revenu, allocations familiales, chômage... Depuis le 1er septembre 2017, les administrations sont en effet tenues d’avertir les usagers dès lors qu’un « traitement algorithmique » est venu s’immiscer dans une décision les concernant. Cette fameuse « mention explicite » doit surtout permettre aux citoyens d’apprendre qu’ils peuvent demander à connaître les « règles » définissant ce programme informatique, « ainsi que les principales caractéristiques de sa mise en œuvre », au regard de leur situation individuelle.

Problème : impossible à ce jour de trouver la moindre « mention explicite » dans les décisions notifiées par les impôts, Pôle emploi ou les Allocations familiales. « Il semble en effet que de nombreuses administrations rechignent à appliquer cette disposition légale », souligne ainsi Sophie Joissains, rapporteure du projet de loi « RGPD » pour le Sénat.

Des décisions d’ores et déjà entachées d’irrégularité ?

L’élue va même plus loin : « Compte tenu de la jurisprudence Danthony du Conseil d'État, il est vraisemblable que l'omission de cette formalité, en ce qu'elle prive les intéressés d'une garantie, serait jugée entacher l'acte d'illégalité ». La facture pourrait alors être salée pour le Trésor public, notamment si les Français venaient contester leur taxe d’habitation par exemple...

Afin de « lever le doute sur ce point », Sophie Joissains a donc fait adopter un amendement pour que l’absence de « mention explicite » soit une cause systématique de « nullité » de la décision correspondante.

Une réforme disproportionnée, selon le gouvernement

L’exécutif ne l’entend toutefois pas de cette oreille. « Si le gouvernement partage pleinement l’objectif de faire appliquer l’article L. 311-3-1 du Code des relations entre le public et l’administration [qui impose cette mention explicite, ndlr], il n’est pas favorable à ce que l’absence de mention dans la décision conduise immédiatement à la nullité de cette dernière, ce qui serait disproportionné », fait-il valoir au travers d’un amendement de suppression des dispositions votées en commission.

Le gouvernement ajoute que la nullité des actes en question devrait être laissée à « l’appréciation du juge ». Il soutient enfin « qu’il n’existe pas de précédent de ce type, en matière d’obligations d’éditique ».

Les débats sur ce dossier conduiront les sénateurs à examiner un autre amendement, soutenu par le groupe PS. L’idée : que les « règles » et « principales caractéristiques » de mise en œuvre des algorithmes publics soient directement communiquées aux citoyens (et non plus sur demande). « L’objectif principal est d’assurer l’information des administrés qui sans devoir en faire la demande, se verront communiquer le degré et le mode de contribution du traitement algorithmique à la prise de décision, les données traitées et leurs sources, les paramètres de traitement et, éventuellement, leur pondération, appliqués à la situation de l'intéressé ainsi que les opérations effectuées par le traitement. »

Un amendement identique avait été – vainement – défendu à l’Assemblée nationale, toujours à l’initiative des socialistes. Les débats autour de cette proposition avaient d’ailleurs conduit Mounir Mahjoubi, le secrétaire d’État au Numérique, à une surprenante sortie de route sur ce dossier.

L'exécutif veut maintenir la brèche ouverte pour Parcoursup

L’amendement voté la semaine dernière en commission est d’autre part venu colmater la brèche ouverte début février par le législateur à l’occasion du projet de loi sur Parcoursup – lequel a été promulgué le 8 mars dernier. Pour mémoire, le gouvernement a fait adopter en toute fin de navette parlementaire des dispositions introduisant une sorte de dérogation à la loi Numérique, et ce au profit de la plateforme succédant à Admission Post-Bac (voir nos explications détaillées).

« Si des décisions d'acceptation ou de refus de candidats sont prises par les établissements sur le fondement de traitements automatisés, ces établissements ne seront ni dans l'obligation de faire figurer une mention explicite en ce sens sur le texte de la décision », ni « de communiquer à l'intéressé, à sa demande, les règles définissant ce traitement ainsi que les principales caractéristiques de sa mise en œuvre », déplore Sophie Joissains.

« Cette exception n'a pas lieu d'être », insiste la sénatrice dans son rapport. Alors que le gouvernement avait justifié son amendement par la « nécessaire protection du secret des délibérations des équipes pédagogiques », la rapporteure affirme qu’il n'y a « aucune raison de protéger le secret de délibérations inexistantes... Si la décision d'accepter ou non un candidat est prise sur le fondement de règles générales transcrites en un programme informatique, l'intéressé a le droit de savoir lesquelles. »

sénat
Crédits : Xavier Berne (licence: CC by ND 2.0)

« Le gouvernement ne partage pas cette position », rétorque toutefois l’exécutif au travers d’un amendement visant au maintien de la loi sur Parcoursup. Celui-ci soutient que les dispositions litigieuses visent à « instaurer un équilibre entre l’existence d’une délibération des équipes pédagogiques qui ne se confond pas avec le recours à un traitement automatisé local et la protection du secret de leurs délibérations ».

Le gouvernement explique que les établissements de l’enseignement supérieur pourront parfois sélectionner des bacheliers à partir de délibérations (ne relevant donc pas d’algorithmes). La suppression votée en commission « fragiliserait le rôle de la délibération des équipes pédagogiques », prévient ainsi l’exécutif.

Les débats en séance publique doivent débuter en fin d’après-midi. Ils se poursuivront au besoin jusqu’à demain.

33

Écrit par Xavier Berne

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Des décisions d’ores et déjà entachées d’irrégularité ?

Une réforme disproportionnée, selon le gouvernement

L'exécutif veut maintenir la brèche ouverte pour Parcoursup

Le brief de ce matin n'est pas encore là

Partez acheter vos croissants
Et faites chauffer votre bouilloire,
Le brief arrive dans un instant,
Tout frais du matin, gardez espoir.

Commentaires (33)


Le gros souci dans l’histoire, c’et que c’est l’Assemblée nationale qui aura toujours le dernier mot en cas de navettes… Quoi qu’il arrive.


Nul n’est censé ignorer la loi … sauf le gouvernement, quand ça l’arrange&nbsp;<img data-src=" />


Je ne comprends pas cette volonté du gouvernement à vouloir toujours s’opposer à la moindre avancée en matière de transparence.



Enfin si, on comprend que s’ils s’y opposent c’est que derrière les manquements/erreurs, voir fraudes doivent être suffisamment nombreux pour remettre en cause de nombreuses décisions contestables par les administrés.



A part cacher un scandale d’état, je ne vois aucune autre raison justifiant ces refus.





«&nbsp;Cette exception n’a pas lieu d’être&nbsp;», insiste la sénatrice dans son rapport. Alors que le gouvernement avait justifié son amendement par la « nécessaire protection du secret des délibérations des équipes pédagogiques »



Les délibérations des équipes pédagogiques n’ont pas à être secrètes.

Tout candidat qui est refusé à le droit de connaitre les raisons de ce refus et notamment ce qui lui faisait défaut. La décision de refus doit être motivée.



Autrement, nous rentrons dans un système de sélection subjectif, pouvant être basé sur des discriminations pourtant interdites par la loi.



Ici, le gouvernement donne l’impression qu’il est pour les discriminations.

Ce qui s’inscrirait dans sa logique depuis le début du mandat Macron, qui n’aime pas trop les étrangers, ni les femmes.

&nbsp;








js2082 a écrit :



Ce qui s’inscrirait dans sa logique depuis le début du mandat Macron, qui n’aime pas trop les étrangers, ni les femmes.

&nbsp;





Références nécessaires!!









iFrancois a écrit :



Nul n’est censé ignorer la loi



est un adage, et n’a donc pas force de loi.

Par contre, “nul ne peut se prévaloir de ses propres turpitudes”…









Soriatane a écrit :



Références nécessaires!!





#Teampremierdegré



Etrangers:http://www.slate.fr/story/153807/macron-politique-moins-humaine-migrants

Femmes:http://www.lefigaro.fr/politique/le-scan/2018/02/14/25001-20180214ARTFIG00272-ma…



Il y a aussi les chômeurs (ça date d’hier, ça)



Décisions prises par des algos = beaucoup moins de discrimination. On ne parle pas d’IA ici mais de simple automatisation des processus de l’administration, ce que toute entreprise efficace fait depuis longtemps.



Imposer qu’un traitement automatisé d’un dossier implique une mention “traité par un algorithme” va introduire la suspicion sur chaque décision où ça sera indiqué et va fortement encourager les administrations à ne pas automatiser leurs processus, et donc à faire perdurer les discriminations et les biais actuels.



C’est poussé par les vieux debrits conservateurs du Sénat pour justifier comme d’habitude de ne surtout rien changer.


Je ne vois pas en quoi une suspicion apparaitrait en voyant une simple mention.

Au contraire, on est sûr qu’il n’y a pas de décision à la tête du client.








psn00ps a écrit :



Je ne vois pas en quoi une suspicion apparaitrait en voyant une simple mention.





J’aurais tendance à dire parce que les personnes lambda ont entendu tellement de trucs sur l’IA et les algorithmes que beaucoup en viennent à mélanger les deux, d’une part, et à accorder aux seconds beaucoup plus de subjectivité qu’ils n’en ont, d’autre part. (après, ce que je viens d’écrire revient à de la psychologie de comptoir, on est d’accord, mais c’est ce que je constate sur un échantillon non représentatif)



Si il était indiqué “trois personnes ont pris des décisions lors du traitement de votre dossier, ils avaient accès à vos infos personnelles lors de leur décision” ça serait équitable.



Avec la mention l’administration se défausse de sa responsabilité envers les citoyens. Si la décision ne leur convient pas les gens vont évidemment s’en prendre à l’algorithme. C’est l’administration qui in fin doit assumer la décision, pas un algorithme ou un fonctionnaire.


ha bah c’est sur que de respecter la loi, c’est “disproportionné”…..


Il dit moins de discrimination, et c’est vrai qu’on pourrait mettre de la discrimination dans un algo.



Par contre, algo = fait invariablement ce pour quoi il a été conçu = moins de subjectivité.

Si c’est couplé à de la transparence sur le code, il deviendrait très difficile d’y inclure la moindre discrimination, alors qu’il semble illusoire de la retirer de processus subjectifs.








js2082 a écrit :



Je ne comprends pas cette volonté du gouvernement à vouloir toujours s’opposer à la moindre avancée en matière de transparence.





Heu…

Que ce soit ce gouvernement-ci ou les précédents, ce sont eux qui ont poussé les lois visant à l’amélioration de la transparence. La création de la HATVP (Transparence de la Vie Publique), tu crois que ça vient d’où ?







js2082 a écrit :



Ici, le gouvernement donne l’impression qu’il est pour les discriminations.

Ce qui s’inscrirait dans sa logique depuis le début du mandat Macron, qui n’aime pas trop les étrangers, ni les femmes.





Ayant lu plus bas comme quoi c’était une sorte de tentative d’humour, ça ne marche pas trop non plus. Pas que je sois pour des lois plus dures contre les étrangers (plutôt le contraire), mais ça n’a rien à voir avec des discriminations (idem pour la question Darmanin, surtout quand tu vois les ministres femmes).







Soriatane a écrit :



Références nécessaires!!





C’est clair.









wagaf a écrit :



Décisions prises par des algos = beaucoup moins de discrimination. On ne parle pas d’IA ici mais de simple automatisation des processus de l’administration, ce que toute entreprise efficace fait depuis longtemps.





Je vais un peu chipoter : un algorithme qui fait un choix en fonction de critère, il procède à une discrimination justement, puisqu’il retient certaines personnes et en écarte d’autre.

Il faut être précis sur ce qu’on entend par “discrimination”.







wagaf a écrit :



C’est poussé par les vieux debrits conservateurs du Sénat pour justifier comme d’habitude de ne surtout rien changer.





C’est assez naze ce genre de phrase.







psn00ps a écrit :



Je ne vois pas en quoi une suspicion apparaitrait en voyant une simple mention.

Au contraire, on est sûr qu’il n’y a pas de décision à la tête du client.





À la queue du client, alors ?

(oui bon on peut faire plus spirituel ;-) )







WereWindle a écrit :



J’aurais tendance à dire parce que les personnes lambda ont entendu tellement de trucs sur l’IA et les algorithmes que beaucoup en viennent à mélanger les deux, d’une part, et à accorder aux seconds beaucoup plus de subjectivité qu’ils n’en ont, d’autre part. (après, ce que je viens d’écrire revient à de la psychologie de comptoir, on est d’accord, mais c’est ce que je constate sur un échantillon non représentatif)





Haha ta parenthèse :-) .







Zerdligham a écrit :



Il dit moins de discrimination, et c’est vrai qu’on pourrait mettre de la discrimination dans un algo.





Pourtant on demande bien à l’algo de discriminer entre les dossiers qui lui sont soumis.

Nan ?



Techniquement, tu as raison.

Par contre, vu le contexte, quand on parle de se protéger contre les discriminations, on parle bien sûr des discriminations illégales, pas de l’objectif de l’algorithme.








OlivierJ a écrit :



C’est assez naze ce genre de phrase.&nbsp;





Renseigne toi sur la composition du Sénat et le méthode de désignation des sénateurs :-)



Je suis un peu au courant, merci :-) .

(et pas d’hier)


L’objectif affiché de l’algorithme est une chose, sa bonne conception ou non en est une autre, ce qu’il donne en pratique une troisième.



Un autre exemple récent bien de chez nous : stresser et mettre dans des situations impossibles (1 mois pour rembourser jusqu’à des dizaines de milliers d’euros !) des chômeurs parce que le Pole Emploi s’est trompé :

https://www.franceinter.fr/emissions/secrets-d-info/secrets-d-info-17-mars-2018








iFrancois a écrit :



Nul n’est censé ignorer la loi



OK. Prenons cet adage stupide au 1er degré : tu serais capable de lister tous les articles du Code Général des Impôts? Même en se limitant à ce qui touche directement les particuliers?







wagaf a écrit :



Renseigne toi sur la composition du Sénat et le méthode de désignation des sénateurs :-)



Si je ne me trompe pas (il me semble que c’était OlivierJ qui avait donné les chiffres, il me rectifiera si nécessaires), les sénateurs n’ont jamais été aussi jeunes, et à un âge moyen aussi proche des députés.

Donc elles ont quoi la composition et la méthode de désignation (ce qui entre nous s’appelle une élection)?



Les sénateurs ne sont pas élus par le peuple, ils sont cooptés entre élus locaux. Ce qui explique leur age élevé (comme tu l’admets), leur faible représentativité de la population, et leur profil de vieux politicards professionnels..



Politiquement ils défendent toujours (tu trouveras peut-être l’exception) les positions les plus conservatrices.








wagaf a écrit :



Les sénateurs ne sont pas élus par le peuple, ils sont cooptés entre élus locaux. Ce qui explique leur age élevé (comme tu l’admets), leur faible représentativité de la population, et leur profil de vieux politicards professionnels..



Lol.







wagaf a écrit :



Politiquement ils défendent toujours (tu trouveras peut-être l’exception) les positions les plus conservatrices.



Lol (bis).

Il y a des tas d’exemples qui montrent l’inverse. Mais nul n’est plus aveugle que celui qui ne veut pas voir… Surtout quand comme toi on aime croire en des poncifs débiles.



La transparence, partout, tout le temps, pour tout ce qui est financer par de l’argent public. Ca devrait etre la regle.


Je fais la différence entre les erreurs, et les discriminations qui sont des biais plus ou moins volontaires des humains qui traitent les dossiers et qui ne devraient pas se retrouver dans un code si celui-ci est ouvert (difficile d’imaginer dans un algo un if(is_trop_sombre(peau_du_client) || name == “Mohamed”) then, alors que si c’est un humain…).



Pour les erreurs, qui malheureusement arriveront toujours, on peut juste espérer les rendre plus rare en retirant le facteur humain là où c’est possible et en faisant du code de qualité.

Il faut aussi que le système permette à un humain de la corriger. On s’aperçoit parfois ça fait défaut: tout le monde est d’accord qu’il y a erreur, mais le SI ne permet pas de la corriger, je pense à l’histoire du chef d’entreprise qui a reçu une amande de 450€ parce qu’il a payé son PV trop vite…http://www.letelegramme.fr/france/nancy-un-patron-paye-son-pv-trop-vite-son-amen…



D’ailleurs, tel que je le comprends, ton exemple de Pôle emploi ne porte pas sur des erreurs de l’algorithme de calcul, mais sur la complexité de remplir les cases pour les humains et le manque d’accompagnement associé.

A priori, l’algo a fait exactement ce qu’il était supposé faire, c’est ‘juste’ que les règles de déclarations sont complexes et mal communiquées (ce qui, pour les victimes, ne change pas grand chose).

Ce qui est éventuellement critiquable ici, c’est qu’il aurait peut-être été possible d’avoir un système de contrôle et d’alerte à l’utilisateur sur le fait que sa déclaration semblait ne pas suivre les nouvelles règles, ou de faire afficher au site une explication spécifique à toutes les personnes concernées par le changement de règles au moment où celui-ci a eu lieu.


Et aussi que l’algorithme a été conçu pour réclamer le remboursement des indus sous un mois, quelque soit le montant des indus, la situation des personnes à qui on les réclame, et le temps depuis lequel les indus en questions ont été versés.



L’objectif affiché de Pole Emploi (et de la CAF) est de créer un filet de sécurité pour les personnes en situation de difficulté et de leur permettre de retrouver du travail.

La réalité c’est plutôt la mise sous pression de ces personnes, le flicage, les paiements des aides des semaines en retard, des systèmes à la complexité et la bureaucratie Kafkaïenne, un manque criant d’interlocuteurs, un système qui d’un côté fait tout pour enlever l’envie aux gens de retrouver du travail (cf l’enquête ci-dessous, où trinquent le plus les gens qui ont réussi à trouver des petits boulots), et de l’autre côté essaye de tout faire pour les rayer des listes (“plus de personne, dans la base de données, plus de problème !”) afin d’avoir de meilleures “statistiques” (qui s’éloignent de plus en plus de la réalité).


Qu’on les approuve ou non, tout ça c’est des choix politiques totalement indépendants de l’informatisation des traitements. Je ne parlais que de la différence entre un traitement humain et informatique d’une procédure, à choix politiques égaux.

A mon sens, l’informatisation des traitements est plutôt bénéfique parce qu’elle devrait réduire le nombre d’erreurs et rendre impossible les discriminations, au prix d’une gestion des erreurs résiduelles probablement un peu plus complexe.

Ce qui ne l’empêche d’ailleurs pas d’être humaine, ton article souligne la dureté des situations, mais aussi le fait que les agences gardent une marge de manœuvre pour traiter de façon humaine les cas difficiles (peut-être pas suffisante, mais ça montre bien que c’est possible, le niveau de cette marge étant, à nouveau, un choix politique indépendant de l’informatisation).








Zerdligham a écrit :



Je fais la différence entre les erreurs, et les discriminations qui sont des biais plus ou moins volontaires des humains qui traitent les dossiers et qui ne devraient pas se retrouver dans un code si celui-ci est ouvert (difficile d’imaginer dans un algo un if(is_trop_sombre(peau_du_client) || name == “Mohamed”) then, alors que si c’est un humain…).





Les IA sont soumises aux biais contenus dans les jeux de données qui servent pour l’apprentissage. Quelques exemples ici.



Pourquoi pas, mais ici, on parle d’algorithmes sans IA. Il n’y a donc pas de biais.


Autant pour les décisions individuelles, on est probablement sur de l’algo ‘basique’ sans trop de risque de biais, autant sur d’autres usages potentiels de l’informatique dans l’administration, il n’est pas exclu que l’on fasse des algorithmes sensibles à ce genre de biais.

J’ai en tête un exemple: je crois avoir vu quelque par que les impôts essayaient de faire du profiling de fraudeurs. Un algo d’apprentissage sur les contrôle fiscaux passés semble a priori intéressant pour faire le lien entre des particularité des déclarations et des constats de fraude, afin de cibler les personnes à contrôler. Mais si jamais il y a aujourd’hui un biais sur la façon dont ils sont menés, on pourrait transférer ce biais à l’IA.



Par contre, a priori, on ne fait au pire que reproduire les biais humain.


OK, mais ce n’est pas de ce type d’algorithme dont il est question ici.



Ce dont tu parles n’est qu’un moyen de détecter d’éventuelle fraude et pas un moyen de preuve.

Derrière, il faudra que l’Administration prouve la fraude si elle veut sanctionner ou redresser, et là, pas d’IA.


Tout à fait.

Mais s’il y a biais sur la détection des éventuelles fraudes, il y aura biais sur les sanctions. Pas que les gens sanctionnés le seraient à tord, mais les gens qui bénéficieraient d’une relative connivence aujourd’hui continueraient à en bénéficier.



Après même si je n’en vois pas dans un futur proche, je ne m’avancerais pas sur le fait que l’IA ne soit jamais utilisé plus tard pour des décisions individuelles, auquel cas le problème se poserait encore plus.


Oui, j’étais justement en train de me faire la même réflexion !



Un gros souci avec l’Intelligence Artificielle actuelle (basée sur des réseaux neuronaux), c’est qu’elles sont éduquées - un mode de fonctionnement extrêmement différent d’un logiciel simple suivant bêtement un algorithme.



Ça risque de poser un sacré problème pour l’application de la loi sur le droit de communication sous forme intelligible des “algorithmes” administratifs… parce que la pondération des “neurones” des Intelligences Artificielles est inintelligible par leur nature même !



Et ce genre d’IA est déjà utilisée par de plus en plus d’entreprises (et il semblerait aussi par les impôts, mais pas pour un “algorithme” communicable), et va finir par être utilisé aussi par les administrations !

EDIT : Il va falloir vraiment refléchir au statut juridique des IA, et qui en prend la responsabilité ! (cf aussi : véhicules autonomes). Cedric Villaini a du pain sur la planche…



Encore une fois, on a une bonne loi qui est mise en place… mais avec tellement de retard que c’est presque qu’elle va être obsolète au moment ou elle sera enfin appliquée! (ce qui est loin d’être le cas…)



P.-S.: Il y a aussi des programmes d’aide à la prise de décision, intermédiaires entre des programmes basés sur des algorithmes et ceux basés sur une IA : les systèmes experts.

Par exemple le fameux Akinator utilisé par la Police Nationale. ( <img data-src=" /> )

Le fonctionnement de ceux-là devraient être en théorie être possible à communiquer de manière intelligible, mais les explications risquent d’être longues… (je suppose qu’il n’y a pas de limite de longueur dans la loi?)


Ce n’est pas aussi évident, tout dépend de la formulation de l’algorithme de décision et des critères pris en comptes.