Dans son rapport sur l'IA, le Conseil d’État a dressé un vaste tour d'horizon de la situation en France et formulé des recommandations fortes sur son emploi. si la haute juridiction a été très claire sur de nombreux points, elle l'est moins face à Parcoursup. Suite et fin de notre dossier.
Notre dossier sur le rapport du Conseil d'État sur l'intelligence artificielle :
- Le Conseil d’État encourage l’intelligence artificielle dans les administrations
- Intelligence artificielle : les critères nécessaires à la confiance, selon le Conseil d'État
- Intelligence artificielle : le Conseil d’État veut des moyens et une « super CNIL »
- Intelligence artificielle : le cas ambivalent de Parcoursup
Le cas Parcoursup
Difficile de parler d’algorithmes et de cas pratiques sans aborder celui de Parcoursup. Le rapport du Conseil d’État ne fait pas l’impasse : le mécanisme est cité à plusieurs reprises dans le long rapport, dont plusieurs pour en souligner l’aspect controversé.
Le rapport note qu’il illustre parfaitement plusieurs points abordés, notamment l’automatisation des tâches répétitives. Car même si le Conseil d’État pointe plus tard dans son rapport le nécessaire travail sur la transparence des algorithmes, élément essentiel dans la chaine de confiance, il note que le cas jette une lumière crue sur les processus menant à l’arrivée d’un ou plusieurs algorithmes.
Parcoursup n’utilise pas d’apprentissage machine, mais un algorithme de type Gale-Shapley dédié à l’appariement, dont l’objectif est de trouver la solution optimale face à la multitude de couples de données étudiant-formation. Un but aussi clair que sensible, qui fait classer Parcoursup dans les SIA à haut risque au vu des enjeux.
En outre, comme le note le Conseil d’État, Parcoursup n’impose en lui-même pas de conditions particulières. Il n’est « responsable ni de l’incapacité matérielle de l’enseignement supérieur à absorber l’augmentation régulière du nombre de néo-bacheliers (+17 % de candidats entre 2018 et 2020), ni des critères de sélection mis en œuvre par les établissements ».
À la place, il salue « l’effort d’explication et de transparence » mené par l’équipe chargée du projet, constituée de 35 équivalents temps-plein, dont 25 se consacrent à la maitrise d’œuvre. Cet effort s’est traduit par la publication des sources du code national, de multiples documents d’informations, des données statistiques, ainsi que des précisions multiples, comme les exigences relatives aux connaissances. En 2019 a été mis en place un comité d’éthique, dont les rapports sont décrits comme « très opérationnels ».
Parcoursup placarderait les problèmes de l'enseignement supérieur
Pourtant, les problèmes ont été nombreux, avec au premier plan un grand flou sur les algorithmes, seul le national étant public. Car si les développements réalisés pour les émanations de l’État sont en quasi-totalité open source, ce n’est pas complètement vrai pour Parcoursup. Le Conseil note que le débat est toujours là, mais n’intervient curieusement pas plus sur la problématique des algorithmes non publics.
Pour le Conseil, Parcoursup mettrait davantage en lumière les propres difficultés de l’enseignement supérieur que les siennes, gommées avec le temps. Des points comme l’inadéquation entre l’offre et la demande, le déficit de transparence ou l’iniquité des critères retenus par les universités ne sont pas de son ressort.
Des problèmes perdurent cependant. Très récemment, l'École supérieure des métiers du commerce et de la vente (IMEA) a eu la surprise de n’avoir que trois étudiants sur les 20 places qu’elle proposait. Pourquoi ? Parce qu’à cause d’un bug, elle n’apparaissait pas dans la liste des écoles disponibles. Pour compenser, elle accepte les inscriptions en alternance jusqu’en décembre.
La rentrée 2022 n’a pas échappé au stress, de nombreux étudiants n’ayant pas trouvé d’écoles ou d’universités, comme le signalait Le Monde le 12 septembre. Au point de faire dire au ministre de l’Éducation, Pap Ndiaye, que même si Parcoursup est là pour rester, il « est perfectible ». Des améliorations ont donc été promises pour 2023, « notamment sur des questions de transparence et d’orientation ». Un signe évident de reconnaissance des difficultés.
Une situation ambivalente
En dépit de la grande clarté des constats et arguments avancés par le Conseil d’État dans son rapport, les propos sur Parcoursup sont à mesurer à l’aune du propre historique de la juridiction face à ce mécanisme.
Le Conseil rappelle par exemple que dans les améliorations intervenues sur Parcoursup, la publication de l’algorithme national figure en bonne place. C’est pourtant ce même Conseil d’État qui s’était prononcé, en 2019, contre la publication des algorithmes locaux, aucune université n’ayant dès lors plus obligation de fournir quoi que ce soit aux étudiants qui en feraient la demande. Ce, malgré les promesses qui étaient alors faites, notamment Mounir Mahjoubi, alors secrétaire d'État au numérique.
Cette partie du code source ouvert est en fait le cure-dent qui cache la forêt : « En dépit des actions de mise en transparence du ministère, le code de Parcoursup reste à 99 % fermé. La partie publiée demeure d’un intérêt limité pour améliorer la performance du dispositif », expliquait la Cour des comptes en 2020. C’est dire l’ampleur du travail qui reste à accomplir, n’en déplaise au Conseil d’État, qui a tenu pourtant à saluer « l’effort d’explication et de transparence ».
En novembre 2021, Amélie de Montchalin (ministre de la Transformation et de la Fonction publiques) présentait un plan d’action pour favoriser les logiciels libres et l’ouverture des codes sources dans le service public. Le cas de Parcoursup n’était pas du tout abordé. Nous avions alors demandé à Antoine Michon (conseiller au cabinet de la ministre) ce qu’il en était pour cet algorithme.
Il n’avait pas eu de réponse à nous apporter durant la conférence, mais avait promis de revenir vers nous pour répondre à notre question. N’ayant aucune nouvelle par la suite, nous avions relancé le cabinet, toujours sans aucune réponse à ce jour. La promesse de l’ouverture du code source de Parcoursup n’est pas nouvelle, Emmanuel Macron en avait fait le souhait en mars 2018. Ce n’était que le début des promesses (non tenues) sur la transparence de Parcoursup.
Les classements opérés par Parcoursup ont des conséquences importantes pour des milliers d’élèves chaque année, mais certains ont du mal à en comprendre les rouages. Selon la Cour des comptes, ils étaient en 2020 près de deux tiers à estimer que « les critères des formations pour classer les candidats devraient être publiés ».
Chaque année, des étudiants avec d’excellents dossiers sont refusés dans certaines grandes écoles, alors que certains de leurs camarades sont acceptés, avec des dossiers scolaires moins bons. Pourquoi ? Faute d’avoir accès à toutes les données et aux critères de sélection, les explications ne restent que des suppositions.
Commentaires (20)
#1
Dumb bull dol n’a pas lu le code civil. Mais la vie est un parcours semé de magiciens.
#2
La non-divulgation des algorithmes privés c’est quoi les arguments concrètement?
Parce que ça sent fort les arguments fallacieux qui étaient contre l’arbitrage vidéo au foot non?
#2.1
https://www.legifrance.gouv.fr/codes/article_lc/LEGIARTI000042815027
Article L. 612-3 du code de l’éducation, I, 6ème paragraphe : Afin de garantir la nécessaire protection du secret des délibérations des équipes pédagogiques chargées de l’examen des candidatures présentées dans le cadre de la procédure nationale de préinscription prévue au même deuxième alinéa, les obligations résultant des articles L. 311-3-1 et L. 312-1-3 du code des relations entre le public et l’administration sont réputées satisfaites dès lors que les candidats sont informés de la possibilité d’obtenir, s’ils en font la demande, la communication des informations relatives aux critères et modalités d’examen de leurs candidatures ainsi que des motifs pédagogiques qui justifient la décision prise.
Clairement cette loi dit : “vous pouvez faire la demande, mais votre demande sera réputée satisfaite dès lors que vous aurez été informé du fait … que vous pouvez faire la demande”.
#3
Parcours sup est de mon point de vue une catastrophe…
Pour les études de santé où il y a en plus eu une réforme des études et des modalités d’accès, on en arrive à des situations ubuesques.
Un des arguments avancés est d’améliorer l’accès pour tous. Le système que j’ai connu fonctionnait plutôt bien. Il suffisait du bac et j’ai pu m’inscrire à la fac sans soucis, là où je le souhaitais.
Je connais des gens dont les enfants ont fait une grosse partie de leur scolarité en privé et qui les mettent en public pour leurs années de lycée afin qu’ils aient de meilleures notes qu’en privé au vu du niveau plus faible. Sans connaitre l’algorithme, ils essayent à leur manière de mettre toutes les chances de leurs cotés.
Mes enfants sont encore petits (primaire) mais j’espère que d’ici là, le système se sera grandement amélioré. C’est quand même bête de ne pas pouvoir accéder aux études de son choix en ayant un bon niveau et ne pas savoir pourquoi son dossier a été rejeté par l’algorithme…
#3.1
Ce problème de notes débute tôt, dès la 3e si un élève passe entre les mains d’algorithmes. Pour aller dans certaines sections en lycée pro par exemple. Le problème est le même avec des disparités entre les collèges…
#4
J’ai du mal à saisir l’utilité de Parcours sup.
Le système que j’ai connu fonctionnait plutôt bien et on pouvait faire à peu près ce qu’on voulait en s’en donnant les moyens.
Est ce une manière de réguler les nouveaux arrivants car l’université n’a pas les moyens de ses ambitions ?
#5
C’est tout l’art des assistants parlementaires et des hauts-fonctionnaires qui rédigent les textes de loi de réussir ce genre de pirouettes lexicales de manière à répondre à la “demande politique” tout en évitant de le faire. Et encore là c’est du niveau débutant, car il n’y a pas l’EU en jeu.
(On a les mêmes types de pirouettes sur les textes liés au RGPD ou aux blocages sur le net)
La justification originale c’était d’éviter la discrimination “manuelle” à l’inscription.
Tu dis que le système marchait plutôt bien, mais les testings avaient montrés qu’a dossier égal, c’était nettement plus difficile de suivre un parcourt vers les “grandes écoles” en s’appelant Mohamed de Bondy plutôt que Jean-Sebastien de Neuilly.
Là ce qu’on voit avec le coté non-opensource des “algorithmes locaux” c’est que c’est le même système qui est à l’oeuvre, avec en plus l’impunité de dire que “c’est pas nous c’est l’ordi”.
#6
Le système que j’ai connu fonctionnait plutôt bien en général également, mais il y a un élément à prendre en compte et qui a changé depuis : l’offre et la demande. Il y a plus d’étudiants qu’au début des années 2000, et le nombre de places n’a pas beaucoup augmenté (surtout dans certaines filières).
Du coup, la saturation est présente dans beaucoup plus de filières qu’avant. Et APB (le prédécesseur de parcoursup) utilisait le tirage au sort dans ces cas là.
Parcoursup se voulait être une alternative plus vertueuse, en prenant en compte une priorisation des voeux afin d’essayer de satisfaire le plus de monde possible sur des critères plus objectifs qu’un simple tirage au sort. J’ai l’impression qu’on en ressort avec une plus grande insatisfaction qu’avec son prédécesseur…
#7
L’État ne lui donne surtout pas les moyens pour sa mission.
#7.1
C’était sous entendu
#8
“Parcoursup n’utilise pas d’apprentissage machine, mais un algorithme de type Gale-Shapley dédié à l’appariement, dont l’objectif est de trouver la solution optimale face à la multitude de couples de données étudiant-formation”
C’était APB qui utilisait un mécanisme d’appariement en fonction des priorités données par les candidats.
Dans ParcourSup, les candidats ne donnent plus de priorités dans leurs voeux. Dans les universités et les formations, un jury (“commission d’examen des voeux” établit un classement des dossiers. ParcourSup se contente ensuite d’apeller les candidats dans l’ordre des listes de classement (au bémol près du respect du taux de boursiers et de hors académie). Il n’y a donc aucune intelligence artificielle là dedans mais un algorithme d’appel tout simple.
Après, le débat peut se porter sur la façon dont les jurys des établissements classent les dossiers. Depuis l’Article L. 612-3 du code de l’éducation, cité dans les commentaires supra, le COnseil Constitutionnel a obligé les formations à publier leurs critères de classement : https://services.dgesip.fr/T454/S322/examen_des_voeux
J’invite également les curieux sur ce sujet à consulter les rapports du comité d’éthique : https://services.dgesip.fr/T454/S949/comite_ethique_et_scientifique_parcoursup
#8.1
C’est le fonctionnement global (vœux des candidats, réponses des établissements, réponse des candidats, etc.) qui correspond à un algorithme de Gale-Shapley.
APB faisait ça lui-même.
#9
Le Conseil rappelle par exemple que dans les améliorations intervenues sur Parcoursup, la publication de l’algorithme national figure en bonne place. C’est pourtant ce même Conseil d’État qui s’était prononcé, en 2019, contre la publication des algorithmes locaux, aucune université n’ayant dès lors plus obligation de fournir quoi que ce soit aux étudiants qui en feraient la demande. Ce, malgré les promesses qui étaient alors faites, notamment Mounir Mahjoubi, alors secrétaire d’État au numérique.
Tout est si bien résumé par ce paragraphe …
#9.1
Alors qu’il est loisible d’organiser des concours.
Donc, à l’exception des pseudos obligations de transparence pas au point (d’où ma boutade sur le code civil et l’implicite jurisprudence des mandataires) rien n’a changé depuis APB ou Parcours sup.
Quoi qu’on puisse se rendre bien compte qu’une (grosse) urne fait mécaniquement grimper le nombre d’erreurs tout en prévenant ses destinataires d’en corriger le tirage.
Alors à quand le délit de mandancité ?!
#10
L’avantage d’APB c’était que ça prenait moins de temps car automatisé.
Avec Parcoursup c’est long et si tu n’as rien à la fin de la procédure ça te laisse moins de temps pour te retourner …
#11
C’était quand même mieux l’époque d’APB, un peu foireux leur système de parcoursup. ScienceEtonnante avait fait une vidéo sur le sujet à l’époque : https://www.youtube.com/watch?v=dO1pLi2Dedw
#12
Oui, la plupart des écoles ne mettent pas à disposition le détail de l’algorithme qui définit leur propre classement d’accès à leur école. C’est une évidence. Est-ce que c’est mal? Oui, très certainement.
Maintenant j’ai deux sentiments:
Sur ce deuxième point je tiens à partager mon expérience ParcourSup:
Il y a encore beaucoup de choses à améliorer mais je tenais à apporter un peu de positivité (mais je crois bien que je vais me faire ….
#12.1
Merci pour ce retour.
Je n’ai pas encore utilisé ce genre de système, mon fils a 10 ans mais ça viendra un jour.
#13
Parcoursup a été créé suite à l’avalanche de critiques, quasi unanimes, envers APB.
#14
Si on ajoute les formations en alternance, cela double encore le nombre de vœux.