Un rapport se penche sur les « ratés » de la transparence des algorithmes publics

Bien qu’en vigueur depuis plusieurs années, les nouvelles obligations de transparence nées de la loi Numérique demeurent assez largement ignorées des acteurs publics. Entre insuffisances de moyens et manque d’acculturation aux enjeux numériques, un rapport rédigé par des élèves de l’ENA revient sur les difficultés rencontrées par les administrations.

Attribution d’allocations familiales ou de bourses scolaires, calcul du montant de l’impôt sur le revenu ou de la taxe d’habitation... « Les algorithmes constituent depuis longtemps des outils quotidiens des administrations », confirme ce rapport rendu public fin janvier par le département Etalab, qui avait demandé l’année dernière à des élèves de l’ENA de plancher sur des « propositions concrètes pour favoriser un usage transparent et éthique des algorithmes publics ».

Pour s’assurer que ces programmes ne fonctionnent pas comme de véritables « boîtes noires », conservées loin des regards de la société civile, le législateur avait souhaité, en 2016, lors du vote de la loi pour une République numérique, introduire de nouvelles garanties en faveur des citoyens. À ce jour, dès qu’une décision individuelle est prise sur le fondement (même partiel) d’un « traitement algorithmique », l’administration doit :

• Intégrer une « mention explicite » informant l’usager que la décision qui le concerne a été prise sur le fondement d’un traitement algorithmique, et qu’il a donc le droit de savoir quelles sont les « principales caractéristiques » de mise en œuvre de ce programme.
• Expliquer, sur demande, comment fonctionne l’algorithme utilisé.

Pour les administrations d’au moins 50 agents ou salariés, la « loi Lemaire » impose en outre une mise en ligne des « règles définissant les principaux traitements algorithmiques utilisés dans l'accomplissement de leurs missions », à condition une fois encore que ceux-ci fondent des décisions individuelles.

L’intérêt de ces dispositions ? Permettre au citoyen d’avoir des informations intelligibles sur le fonctionnement du (ou des) algorithme(s) ayant été utilisé(s) afin de traiter son dossier. En effet, pour les personnes compétentes en informatique, il reste possible de solliciter – à titre complémentaire – l’algorithme lui-même.

Des obligations mal comprises et vécues comme une contrainte par les administrations

Ce nouveau cadre juridique est toutefois perçu par les administrations « comme une contrainte et une tâche d’une ampleur incompatible avec les moyens disponibles », notent les élèves de l’ENA à la suite de multiples auditions. De « nombreux interlocuteurs rencontrés » ont ainsi indiqué que les moyens humains et financiers dont ils disposaient n’étaient « pas suffisants » pour mettre en œuvre les obligations introduites par la loi pour une République numérique.

« Ce sentiment de ne pas disposer des moyens nécessaires est renforcé par le fait que l’application du cadre juridique par les administrations implique une multitude d’acteurs aux positions parfois divergentes (directions des affaires juridiques - DAJ/directions des systèmes d’information - DSI/directions métiers) sans qu’aucun ne soit clairement désigné comme responsable », peut-on également lire.

Ce qui explique probablement pourquoi (très) rares sont les acteurs publics à s’être pliés à ce nouveau cadre légal (voir notre article).

Pourtant, les auteurs du rapport disent avoir constaté « que certaines administrations avaient pris des mesures d’organisation pour répondre aux obligations propres à l’usage des algorithmes ». Si la mise en œuvre de ces réformes nécessite un « investissement supplémentaire », celui-ci « reste modeste par rapport à l’ampleur des réorganisations nécessaires pour se conformer au RGPD ».

« Plus qu’une réelle incapacité matérielle à remplir ces obligations », nuance ainsi le rapport, « ce sentiment semble nourri par une forme d’incompréhension du cadre juridique récent ». L’ampleur des obligations prévues par la loi Lemaire fait en effet « l’objet d’interprétations diverses ».

L’exemple type ? Une confusion entre ouverture du code source et publication des « règles définissant les principaux traitements algorithmiques » utilisés par une administration. Dans le premier cas, il s’agit d’un programme informatique. Dans le second, il est question d’explications sur le fonctionnement de ce même programme. Mais sur le terrain, la lecture de ces dispositions a visiblement donné lieu à des lectures différentes.

Un accompagnement pour l'explicitation des algorithmes

Le rapport s’arrête également sur les problématiques liées à l’explicitation du fonctionnement des algorithmes publics : « Les informations fournies à la demande de l'intéressé dans le cadre d’une décision individuelle prise sur le fondement d’un algorithme (article R.311-3-1-2 du CRPA) sont mal appréhendées par les administrations. Celles-ci sont nombreuses à faire état de leur difficulté à traduire de manière opérationnelle les obligations prévues et à identifier le degré d’information devant être apporté aux administrés afin d’être conforme au cadre juridique. »

Un tableau détaillant les éléments d’explication à fournir a ainsi été élaboré, et agrémenté d’exemples (voir ci-dessous). On peut notamment y lire que les administrations doivent « retracer – sous une forme littérale – les calculs réalisés par l’algorithme. La combinaison de ces différentes informations doit permettre de vérifier si, par rapport à la situation et aux données, les résultats obtenus sont conformes. » Une consigne malheureusement pas toujours bien appliquée...

Comme nous avons eu plusieurs fois l’occasion de le dénoncer, même le simple fait d’apposer une « mention explicite » sur les décisions prises à l’aide d’un algorithme (pourtant en vigueur depuis septembre 2017 !) « pose aussi certaines difficultés », rapportent les élèves de l’ENA. Ces derniers ont ainsi travaillé sur un modèle de « mention type » qui pourrait être adapté par chaque acteur public concerné.

Certaines administrations seraient d’ailleurs bien inspirées de le reprendre rapidement : à compter du 1er juillet 2020, les décisions administratives prises sur le seul fondement d’un algorithme seront frappées de nullité, dès lors qu’elles ne contiendront pas de « mention explicite » (voir notre article).

Une « insuffisante acculturation des administrations aux enjeux du numérique »

Loin de jeter la pierre aux pouvoirs publics, le rapport souligne malgré tout que la loi pour une République numérique a été adoptée « sans réelle contribution de la part des administrations », alors que « le processus d’écriture de cette loi fait figure de modèle en ce qu’il a, pour la première fois, autorisé des contributions ouvertes afin d’informer le travail législatif [via une consultation en ligne, ndlr] ».

Les auteurs voient ainsi dans cette « rencontre manquée » un signe de « l’insuffisante acculturation des administrations aux enjeux du numérique », d’où résulte aujourd’hui « une certaine frustration de leur part au moment où elles se trouvent confrontées aux difficultés de mise en œuvre de ces nouvelles obligations ».

Les yeux rivés vers l’avenir, le rapport préconise un « accompagnement renforcé » des administrations, qui passerait notamment par une consolidation des moyens dévolus au département Etalab. Le récent guide sur les algorithmes publics gagnerait dans ce cadre a être enrichi, estiment les élèves de l’ENA, « afin de répondre aux interrogations des administrations et assurer une application homogène des dispositions relatives aux algorithmes ».

Les efforts réalisés par certaines administrations, telle l’Éducation nationale, sont au passage cités en exemple :

« Un groupe de travail a été mis en place, rassemblant les correspondants open data des différentes directions et de chaque académie. S’appuyant sur le registre des traitements de données à caractère personnel, le groupe de travail a sollicité les directions métiers afin d’établir la liste des traitements algorithmiques fondant des décisions individuelles (une dizaine de traitements identifiés en mai 2019). Avec l’appui des directeurs concernés par les traitements identifiés, le groupe de travail a ensuite cherché à identifier la sensibilité politique de ces algorithmes afin d’anticiper la charge de travail et concentrer initialement l’effort de mise en conformité sur les traitements les plus susceptibles de faire l’objet d’une demande de la part des administrés. »

L’institution est d’ailleurs l’une des premières à avoir introduit une « mention explicite » dans certaines décisions individuelles (le système d’affectation des lycéens Affelnet).

Une « nécessité » d’aller plus loin, et de « réguler les algorithmes »

Pour les auteurs du rapport, la mise en conformité avec les nouvelles obligations nées notamment de la loi Lemaire doit aussi « être l’occasion de sensibiliser plus largement les administrations aux questions de responsabilité et d’éthique liées à l’usage des algorithmes ». Les futurs énarques s’inquiètent ainsi du « caractère encore embryonnaire de la réflexion éthique autour des algorithmes au sein des administrations – qu’il s’agisse de l’État ou des collectivités ».

Garde-fou « nécessaire mais non suffisant », les obligations de transparence en vigueur ne peuvent pourtant garantir la loyauté des algorithmes, soulignent-ils. « Intervenant après la conception ou la prise de décision, la transparence fonctionne avant tout comme une corde de rappel pour les administrations qui doivent intégrer cette exigence de loyauté dès la conception des traitements auxquels elles ont recours. » Et surtout, de nombreuses dérogations existent (pour les algorithmes qui n’aboutissent pas à des décisions individuelles, pour ceux protégés par le secret défense, etc.).

Le rapport soutient que « la nécessité de réguler les algorithmes se pose avec une acuité particulière dans le secteur public », et ce pour trois raisons :

« Premièrement, là où des algorithmes privés sont au service d’intérêts particuliers, les algorithmes publics sont régulièrement utilisés afin de faire appliquer une loi, prévoyant des dispositions au service de l’intérêt général. Deuxièmement, contrairement à des algorithmes privés dont l’utilisation est rarement obligatoire (ex : un utilisateur de Facebook peut choisir de ne plus recourir au réseau social s’il n’est pas satisfait de l’algorithme à l’origine de la présentation des publications sur sa page d’accueil), les algorithmes publics s’imposent aux administrés (ex : le calcul des impôts). Troisièmement, les algorithmes pouvant renforcer le sentiment d’éloignement de l’administration et d’isolement du citoyen, les collectivités publiques qui les déploient se doivent d’y recourir de manière exemplaire. »

Pour autant, « nul besoin de prévoir de nouvelles obligations législatives ou réglementaires : l’enjeu est avant tout organisationnel », affirment les élèves de l’ENA. « Identifier au mieux les responsabilités avant tout déploiement, faire travailler ensemble les services juridiques, informatiques et métiers (ainsi que les prestataires lorsque l’algorithme est développé en externe), former l’ensemble des acteurs de la chaîne algorithmes apparaissent en effet comme autant de bonnes pratiques à favoriser. »

Le rapport plaide tout particulièrement pour la mise en oeuvre « d’un véritable management des algorithmes publics », qui passerait notamment par la constitution d’un réseau de « référents éthiques », dotés d’une certaine indépendance.

Il est également recommandé de « former les encadrants » (secrétaires généraux, directeurs et chefs de service des ministères) aux enjeux de l’ouverture des données et des algorithmes, de même qu’un maximum d’agents : « La performance des algorithmes étant étroitement corrélée à la qualité des données disponibles, elle implique que les producteurs des données (bien souvent les agents les plus près du terrain ; un conseiller Pôle emploi ou un personnel soignant, par exemple) soient sensibilisés à cet enjeu. La transparence et la pédagogie sur les utilisations possibles des données sont aussi un facteur de motivation pour une tâche qui peut parfois être perçue comme accessoire par rapport au cœur de métier, ou redondante par rapport à d’autres tâches déjà effectuées. »

• Consulter le rapport « Éthique et responsabilité des algorithmes publics » (PDF)