Une IA capable de prédire le sort d'une requête devant la CEDH

Une IA capable de prédire le sort d’une requête devant la CEDH

L'honorable Mr Robot

Avatar de l'auteur
Vincent Hermann

Publié dans

Internet

25/10/2016 7 minutes
29

Une IA capable de prédire le sort d'une requête devant la CEDH

Un groupe de chercheurs a travaillé sur un programme d’intelligence artificielle capable de fournir à l’avance un indice de recevabilité d'un dossier à la Cour Européenne des Droits de l’Homme. Il ne s’agit pas de créer des juges numériques, mais d’établir des liens logiques entre les éléments présentés et le verdict rendu.

Une équipe de quatre chercheurs du University College London (UCL) – Nikolaos Aletras​, Dimitrios Tsarapatsanis, Daniel Preoţiuc-Pietro, Vasileios Lampos – s’est penchée sur le traitement de l’information pendant les études de dossiers, en se basant sur des décisions rendues par la CEDH (Cour Européenne des Droits de l’Homme).

Un long travail de documentation qui les a menés à classer les éléments rencontrés afin de pouvoir en définir des modèles. Objectif : tenter de trier les dossiers en leur donnant une priorité basée sur les éléments fournis.

Passer des centaines de dossiers à la moulinette

Ce sont précisément 584 décisions qui ont été ainsi analysées. Les chercheurs se sont concentrés sur trois grandes catégories pour ces procès : l’interdiction de la torture ou de tout traitement dégradant (article 3), le droit à un procès équitable (article 6) et le droit au respect de la vie privée (article 8), ce dernier étant en pleine recrudescence depuis quelques années, à cause des nombreuses révélations sur les opérations d’espionnage et de surveillance. Comme nous l'a expliqué le spécialiste en droit européen Nicolas Hervieu, la sélection de ces articles n'est pas un hasard, puisqu'ils couvrent trois types différents de droit.

Il a fallu développer parallèlement un programme capable de plonger dans ces informations, tout en structurant les éléments trouvés pour qu’ils soient exploitables. Un point important en regard des preuves fournies. Il fallait en outre pouvoir établir les fameux liens de corrélation, montrant l’influence des éléments sur le verdict final, et faisant donc ressortir au passage ceux qui avaient le plus d’importance.

Une idée loin d'être neuve

Comme indiqué par leur publication dans le journal PeerJ Computer Science, le chercheur Reed C. Lawlor avait affirmé déjà en 1963 qu’un tel traitement était possible. À l’époque, l’objectif n’était pas plus de remplacer le juge, mais de « deviner » à l’avance la recevabilité d'un dossier. Il estimait alors qu’une prédiction fiable ne pourrait se baser que sur une « compréhension scientifique » de la manière dont l’interprétation des lois et les faits influeraient sur les juges.

Depuis, les progrès sur l’apprentissage profond et le traitement du langage naturel ont changé la donne. Les chercheurs ont découvert en effet qu’il existait bien des liens de corrélation entre les éléments fournis pendant le procès et la décision. Par exemple, il semble que les faits cités aient davantage parlé aux juges que la stricte application des lois.

79 % de verdicts corrects

Un verdict humain réduit à une simple masse d’informations traitables et un algorithme ? Ce n’est évidemment pas si simple, et l’objectif des chercheurs n’était pas celui-là. Cependant, le programme a obtenu à 79 % les mêmes décisions que celles réellement rendues par le passé. Un résultat significatif qui souligne un certain nombre de points intéressants.

Pour les chercheurs, le travail réalisé montre ainsi surtout qu’en fonction du type d’affaire que la cour doit traiter, les chances de succès fluctuent. Un procès portant sur les conditions de détention a ainsi plus de chance d'aboutir qu’un autre portant sur une révision de la peine. Le programme a également mis en évidence que les juges ne cherchent pas nécessairement à appliquer la loi au pied de la lettre. Ce qui n’est pas forcément une surprise, mais figure tout de même dans les résultats.

L'inévitable question éthique

La grande question est cependant de savoir à quoi de tels programmes pourraient bien servir, sans parler de l’intérêt même de leur existence. Ces questions ont immanquablement un pendant éthique, puisqu’on y aborde frontalement la question d’un calcul informatique, donc « non humain », qui se substituerait à la responsabilité d’un ou plusieurs individus. Des problématiques qui ne sont pas nouvelles et que l’on croise actuellement beaucoup dans les véhicules autonomes, particulièrement quand un programme doit décider qui doit mourir en cas d’accident mortel.

Pour les chercheurs, les intérêts sont cependant multiples, en plus de prouver qu’il existe une certaine prévisibilité dans le comportement humain en fonction du contexte et des informations présentes. Ainsi, comme souligné par le Dr Nikolaos Aletras à The Verge, il existe déjà des outils analytiques dans les tribunaux. L’idée même d’établir une base de travail à partir des éléments constitutifs d’un dossier n’est pas nouvelle.

Il s’agirait alors simplement d’aller plus loin, en fournissant une idée de ce que serait la décision dans les conditions actuelles. Par ailleurs, le chercheur évoque la longue pile de dossiers en attente et la manière dont ce type de programme pourrait accélérer le traitement.

Une simple amélioration des outils existants ?

Cependant, il ne faut pas oublier que ces 79 % ont été obtenus sur des décisions a posteriori. Les données entrées dans le programme sont en effet celles des comptes rendus. Ce qui pose un évident problème en termes de prédictibilité : ces informations ne sont pas forcément en possession des parties avant le début de la procédure. Les liens de corrélation peuvent toutefois être suffisants pour établir des correspondances avec des affaires passées, comme indiqué dans les résultats. 

Il faut également rappeler que la marge d'erreur du programme, soit 21 % dans le cas présent, ne signifie pas forcément qu'il se « trompe ». Si les 600 dossiers devaient repasser entre les mains d'autres juges, il est évident que le score ne serait pas non plus de 100 %, les magistrats n'étant pas des robots. Un élément important qui insiste sur le caractère humain inhérent à la justice dans son ensemble.

Quoi qu’il en soit, les chercheurs souhaitent qu’on ne perde pas de vue le plus gros intérêt de ce travail : le chemin parcouru plutôt que la destination elle-même. Il s’agissait surtout de tester des compétences et des outils et de voir jusqu’où il était possible d’aller. Rien n’empêche bien entendu le perfectionnement des méthodes mises en place, d'autant que ce type d'outil pourrait très bien être utilisé pour accélérer certaines étapes, notamment au sein de la relation client-avocat.

Un point que nous confirme Nicolas Hervieu, qui nous a indiqué que la CEDH avait reçu sur la seule année dernière 40 000 requêtes, avec un pic record de 120 000 en 2011. L'idée d'un outil permettant de donner une certaine priorité sous forme de pistes n'est donc pas impossible, tant qu'il ne se substitue pas au processus de décision lui-même. Le programme pourrait alors donner un indice de recevabilité, basé sur les dossiers passés.

Ceux qui sont intéressés pourront lire les résultats (en anglais) sur le site du journal PeerJ. Une bonne partie du texte peut être comprise sans nécessairement avoir des notions de droit ou même d’informatique. Cependant, certaines parties plongent dans les mathématiques et seront donc plus complexes. 

29

Écrit par Vincent Hermann

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Passer des centaines de dossiers à la moulinette

Une idée loin d'être neuve

79 % de verdicts corrects

L'inévitable question éthique

Une simple amélioration des outils existants ?

Commentaires (29)


En IA on juge que lorsque qu’on obtient un meilleur score qu’un simple random c’est une bonne chose.

Du coup 79% semble vraiment pas mal.



Par contre je ne trouve pas ça très pertinent une IA en relation au droit de l’homme, même juste en guise “d’opinion objective”

Mais ça pourrait être une bonne idée sur des cas dans des domaines plus simple et moins subjectifs et si ça pouvait permettre de réduire le nombre de dossiers et réduire l’engorgement des tribunaux ça serait top.



Dans tout les cas, ça fait plaisir de voir le domaine de l’IA continuer son petit bonhomme de chemin ! :oui2:








Miluus a écrit :



En IA on juge que lorsque qu’on obtient un meilleur score qu’un simple random c’est une bonne chose.

Du coup 79% semble vraiment pas mal.  





Pas vraiment non… Disons qu’avec un résultat inférieur ou égal à un simple random on se dit qu’on a merdé quelque part.

Dans le domaine médical par exemple, une IA donnant moins de 95%  de verdicts corrects peut souvent être mise à la poubelle.



“On ne peut pas être juste si on n’est pas humain”


L’algo n’est pas compliqué : “Si c’est le gouvernement français qui est accusé, alors il y a violation des droits de l’Homme” ;)


Ce genre d’IA ne peut peut-être pas juger complètement des affaires (surtout avec 79% de réussite), mais pourrait par exemple servir de “test” d’un dossier AVANT de contacter la CEDH ou tout autre tribunal.



 Ceci dans le but d’améliorer les dossiers, de voir dès le début les points qui pourraient clocher par rapport à des cas similaires… pour soulager le traitement humain et pour laisser la priorité aux dossiers qui ont + de chances d’aboutir.


ce n’est pas plus mal : une IA c’est peut être “artificiel” mais au moins c’est “intelligent”. <img data-src=" />


Tout à fait ce que je pensais.


J’ai du mal à me décider sur le fait que je trouve ça bien ou pas (en général, pas spécialement pour la CEDH). Dans un sens je me dis que logiquement peu importe le juge le résultat devrait être le même hors ça ne sera jamais le cas avec des humains. Confier ce genre de décisions à une IA (bon pas aujourd’hui, il y a encore beaucoup de boulot) rendrait peut être le verdict plus juste au final en appliquant purement et simplement la loi en se basant sur des faits et pas sur la taille de l’armée d’avocats qu’on peut se payer.



De plus je pense que certains dossiers sont juste vraiment trop complexes pour qu’un humain puisse y voir clairement. Une IA n’aurait pas de limitations à ce niveau là. Bon après il faut vraiment assurer la fiabilité, mais là aussi si erreur il y a ce qui de toute manière arrive inévitablement avec des humains alors il n’y aura pas à passer des années de procédure pour faire machine arrière une fois l’erreur détectée.



Merde c’est déprimant, mais j’ai du mal à voir l’avantage d’avoir des humains pour juger (si tant est qu’on puisse se fier à l’IA en question)


Ce qui faut pour les tribunaux français.


Les modèles ex post facto fonctionnent toujours au moins partiellement, surtout quand les données en entrée sont sélectionnées (lire biaisées) dès le départ, que les corrélations ont été établies ab initio et que le modèle ne fait rien d’autre que recracher ces suppositions. Même avec toutes ces finasseries, le résultat n’est que de 79% de reconnaissance. Enfin, c’est tout de même mieux que les modèles de la climastrologie.



Un point intéressant du papier est qu’il reconnaît que la loi n’est finalement qu’un outil (legal realism), et comme tel, doit être adapté et adaptable aux circonstances de son utilisation. Il est loin le mythe de la primauté de la loi, ce qui signifie en particulier que l’on ne pourra pas déléguer cette activité à un non-humain. Ce qui indique aussi que la volonté de tout modéliser est un hybris des temps modernes destiné à faillir continuellement dans les situations complexes (sociologie, économie, météo/climat, etc).








gogo77 a écrit :



De plus je pense que certains dossiers sont juste vraiment trop complexes pour qu’un humain puisse y voir clairement. Une IA n’aurait pas de limitations à ce niveau là. Bon après il faut vraiment assurer la fiabilité, mais là aussi si erreur il y a ce qui de toute manière arrive inévitablement avec des humains alors il n’y aura pas à passer des années de procédure pour faire machine arrière une fois l’erreur détectée.





Et comment détecter l’erreur si un humain ne peux pas y voir clairement? C’est contradictoire non?



Perso l’approche : La machine fait peut-être des erreurs mais de toute façon l’homme en fait aussi et de toute façon c’est trop complexe pour être fait par autre chose qu’une machine… ne me rassure pas du tout.<img data-src=" />



Je ne parlais pas de “bugs” mais dans le cas où des éléments existant seraient manquants pour la prise d’une décision. Si on indique la présence de ce nouvel élément alors l’IA peut reconsidérer son verdict.



Sinon une IA c’est un programme donc pour moi c’est destiné à être amélioré avec le temps.



Après tu dis que cette approche ne te rassure pas, mais je ne vois pas en quoi c’est plus rassurant si on tourne la phrase dans l’autre sens. Laisser le job à un humains sachant qu’il fait des erreurs sous prétexte que la machine en fait aussi ne me rassure pas plus ^^



Bon après la justice ce n’est pas noir et blanc et “comprendre” la situation et les personnes concernées est aussi nécessaire et les IA sont encore loin d’être capables de ça, mais je suis persuadé qu’un jour elles pourront faire ça.


Une équipe de quatre chercheurs&nbsp;du&nbsp;University College London (UCL) – Nikolaos Aletras​, Dimitrios Tsarapatsanis, Daniel Preoţiuc-Pietro, Vasileios Lampos



Salauds de migrants… <img data-src=" />















<img data-src=" /><img data-src=" />


Skynet a maintenant de quoi prendre des décisions.

Il lui manque des données pour apprendre et d’une microseconde pour décider.


Moi ce qui m’espante le plus c’est qu’il y ait des gars qui ont bossé plusieurs années sur le sujet !

En tout cas, les tentatives de prédictions de l’humains ont encore de beaux jours devant elles


On s’en fout, il ne seront plus Européen d’ici peu. <img data-src=" />


Si un délit est commis par un bot et que les faits sont jugés par une IA, est-ce qu’on ne peut pas soupçonner les deux IA de connivence pour biaiser la justice ?


Si la victime est un objet connecté, ce n’est plus l’affaire des hommes.


Ce qui est intéressant c’est que finalement les techniques qu’ils ont utilisés (Ngrams et SVM) sont “en retard” par rapport aux dernières avancées en Machine Learning, et notamment les réseaux de neurones qui ont permis de grandes améliorations des performances en traitement des langues ces derniers temps.

On peut donc s’attendre à d’encore meilleurs résultats avec des techniques état de l’art.



Après, on peut aussi remarquer qu’ils ont sélectionnés les catégories de procès, et l’issue de procès traitant de la torture sont peut-être plus simple à prédire que d’autres catégories. Il serait intéressant de voir si leur système arrive à généraliser à tout type de dossier traité par la CEDH.








Tehock a écrit :



Ce qui est intéressant c’est que finalement les techniques qu’ils ont utilisés (Ngrams et SVM) sont “en retard” par rapport aux dernières avancées en Machine Learning, et notamment les réseaux de neurones qui ont permis de grandes améliorations des performances en traitement des langues ces derniers temps.

On peut donc s’attendre à d’encore meilleurs résultats avec des techniques état de l’art.





Ça serait complètement disproportionné, &nbsp;nécessiterait un jeu d’apprentissage monstrueux, pour obtenir un résultat ininterprétable.

Les Ngrams c’est pas un modèle de machine learning c’est pour concevoir les features, &nbsp;c’est à dire les variables qui vont représenter le texte sous une forme exploitable par le modèle.

&nbsp;



Et la condamnation ça serait quoi ?

s’exécuter sur une fréquence processeur limité sans accès internet ?&nbsp;<img data-src=" />


Si c’est les mêmes chercheurs que ceux qui ont travaillé sur l’IA de Microsoft pour prédire le résultats des matchs du championnat d’europe, il vaut mieux s’adresser a Paul le poulpe, il avait de meilleurs resultats.


Oui ma phrase était un peu ambiguë et/ou incomplète, je ne voulais pas dire que les NGrams était un modèle de machine learning, c’est un outils en NLP; mais là aussi, on pourrait utiliser du WordEmbedding pour obtenir des réprésentations des mots plus poussée.



Effectivement tout cela est lourd à mettre en place, et l’obligation d’avoir des jeux de données très grands est un des principaux freins. Mais en mettant cela de côté, les différentes tâches en traitement des langues ont vraiment profitées des réseaux de neurones, et je voulais juste indiquer qu’il était sans doute possible d’obtenir des résultats encore meilleures que ces 79%.



La question de l’interprétabilité des résultats est un peu à part pour moi, même si très importante. Effectivement un SVM permet d’analyser beaucoup plus simplement les “raisonnements” du système, et notamment les features déterminantes. Mais il faut se poser la question de savoir si on a vraiment besoin de ces analyses, ou si seulement le résultat nous intéresse. Dans le cas d’un procès, on peut effectivement avoir le détail du “raisonnement”, mais comme personnellement je considère qu’on ne pourra jamais se passer d’un juge humain pour ce genre de tâche, je suis plutôt intéressé par les performances “brutes” et voir à quelle point un IA peut arriver à prédire les jugements humains.


Un reformatage, ce serait immachine.








Tehock a écrit :



Effectivement tout cela est lourd à mettre en place, et l’obligation d’avoir des jeux de données très grands est un des principaux freins.





Et j’ose espérer qu’on aura jamais un tel jeu d’apprentissage, ça voudrait dire qu’il y’aurai des millions et des millions de procès chaque année, une IA qui nous juge serait alors bien le dernier de nos soucis.&nbsp;<img data-src=" />





Tehock a écrit :



La question de l’interprétabilité des résultats est un peu à part pour moi, même si très importante. Effectivement un SVM permet d’analyser beaucoup plus simplement les “raisonnements” du système, et notamment les features déterminantes. Mais il faut se poser la question de savoir si on a vraiment besoin de ces analyses, ou si seulement le résultat nous intéresse. Dans le cas d’un procès, on peut effectivement avoir le détail du “raisonnement”, mais comme personnellement je considère qu’on ne pourra jamais se passer d’un juge humain pour ce genre de tâche, je suis plutôt intéressé par les performances “brutes” et voir à quelle point un IA peut arriver à prédire les jugements humains.





J’ai pas lu le papier mais j’imagine mal l’utilisation d’un tel outil qui donnerai une priorité sans justification.

Mais j’avoue que c’est plus fun &nbsp;de faire de la performance plutôt qu’un truc utile&nbsp;<img data-src=" />

&nbsp;



Est-ce qu’il y a un bouton “faire pression sur la décision” ?



Si ce n’est pas le cas, alors on conserve le système humain actuel.








Ricard a écrit :



[url=https://peerj.com/articles/cs-93/]



Salauds de migrants… <img data-src=" />





C’est pas des migrants, c’est des otages [en attendant que le Grèce ait fini de payer sa dette]



holà, tu lui donnes une existence et des droits ? <img data-src=" />


Ce résultat ne m’étonne pas nécessairement. Le droit c’est en principe&nbsp; à la fois très systématique et à la fois tellement lié au cas particulier qu’il est difficile de donner une réponse oui/non binaire. Les discussions entre juristes et spécialistes de l’informatique convergent souvent parce qu’il y a des similarités dans le mode de pensée (après c’est super dur d’expliquer qu’en droit la réponse est plutôt “ça dépend” tandis pour le spécialiste la réponse est 1 ou 0).



Je me pose quand même de nombreuses questions quant au procédé. Qu’est-ce qui a été soumis à l’IA? parce que si c’est des éléments de décisions ou des comptes-rendus, c’est déjà, comme le dit l’article le résultat d’un travail judiciaire où on a éliminé certains éléments, évalué d’autres, etc, c’est déjà moins impressionnant. Un jugement de 5 pages dans lequel le juge évalue les divers éléments et les conditions afin d’arriver à un résultat c’est vraiment la fin du travail et donc il pourrait sembler normal qu’à ce moment là on trouve une solution limpide, repérable pour une IA.



Mais c’est quand même fou comme ça se développe. A quand le droit des robots?