Deux chercheurs viennent de démontrer que les « experts » en criminalistique numérique, chargés d'examiner les preuves informatiques de la culpabilité ou de l'innocence d'un suspect, sont biaisés par les informations contextuelles qui leur sont fournies, déplore Forensic Magazine. Il s'agirait de la première étude de la partialité et de la fiabilité dans la prise de décision en criminalistique numérique.
Afin d'examiner le caractère biaisé (impact des informations contextuelles) et la fiabilité (cohérence) des observations, interprétations et conclusions médico-légales numériques, 53 examinateurs médico-légaux numériques (DF) ont analysé le même dossier de preuves.
Pour la partialité, certains examinateurs de DF avaient reçu des informations contextuelles suggérant la culpabilité ou l'innocence, tandis qu'un groupe témoin n'a reçu aucune information contextuelle.
Tous les participants ont été chargés d'analyser un fichier de preuves qui contenait des programmes et des fichiers généralement présents sur un ordinateur de travail, tels que ceux destinés à gérer des documents, des feuilles de calcul ou des présentations, des e-mails, des discussions, une navigation sur Internet, etc.
Les chercheurs avaient sélectionné 11 « traces » différentes dans le fichier de preuves qu'ils pourraient utiliser pour comparer les observations des examinateurs médico-légaux numériques. Certaines traces étaient plus faciles à trouver, comme le contenu des e-mails, les documents et les discussions, tandis que d'autres nécessitaient un examen plus approfondi ; cependant, aucun n'était complexe.
Or, aucun des participants n'a observé les 11 traces. 66 % des participants ont identifié 5 à 8 traces, 26 % ont trouvé 1 à 4 traces et seulement 8 % ont trouvé 8 à 10 traces. Lors de la comparaison des groupes, des nombres plus élevés ont été observés dans les groupes de culpabilité, suivis par le groupe témoin.
« Le groupe d'innocence a observé le moins de traces, indiquant qu'il était biaisé pour trouver moins de preuves », écrivent les auteurs. « Les groupes coupables avaient le plus grand nombre de traces, ce qui indique qu'ils étaient biaisés pour trouver plus de preuves. Le groupe témoin était entre les groupes Innocence et culpabilité. Cependant, il y avait très peu de différence entre le groupe à forte culpabilité et le groupe témoin dans la proportion d'observations, ce qui indique que le contexte de forte culpabilité (le suspect avait avoué) n'a pas biaisé les participants à observer plus de traces qu'un examen sans un tel contexte. »
Le groupe de culpabilité faible a observé significativement plus de traces, ce qui suggère que le contexte ambigu de culpabilité faible – conflit salarial où le suspect avait pris parti pour les travailleurs – a incité le groupe à trouver plus de traces.
Les auteurs concluent qu'il existe un « besoin sérieux et urgent d'assurance qualité » dans les examens médico-légaux numériques. Pour minimiser les biais, ils suggèrent de s'assurer que tous les examens médico-légaux numériques se déroulent uniquement sur la base d'informations contextuelles pertinentes pour la tâche – l'exposition à « d'autres » informations contextuelles, telles que le fait de savoir si un suspect a avoué ou a déjà été arrêté, doit être minimisée à tout prix.
Commentaires (10)
#1
Je me demande ce qui est regroupé derrière l’expression “médico-légaux numériques”
#1.1
A mon sens “médico légal” c’est juste une traduction brutale de “forensics” qui s’applique à tout, du cadavre à une trace de pneus.
#2
Pourtant le terme existe en français : “forensique”, même si peu utilisé, et plus couramment “criminalistique”.
“Digital forensics” se traduirait surement mieux par “criminalistique numérique” ce qui donnerait enquêteur en criminalistique numérique ou investigateur en criminalistique numérique pour le côté forces de police et expert en criminalistique numérique pour les experts inscrits (pour rappel en France un “expert” dans ce contexte est une personne inscrite sur la liste des experts de la Cour d’Appel).
#3
Donc ils ont découvert que les «experts en analyse numérique» sont humain, donc faillible et influençable.
C’est plus intéressante pour ceux qui leur font une confiance aveugle (idem que les empreintes digitals ou trace ADN) pour qu’ils se rendent compte que ces experts ne sont pas infaillible.
#4
Bref, tous les experts ont trouvé au moins 45% des traces.
Ah ? C’est quoi les taux de réussite des autres domaines d’expertise ?
#5
Et chaque expert a eu à traiter les 3 cas (non/coupable, neutre) ? Là ils ont plus testé la qualité des experts qu’autre chose.
#6
C’est finalement rien d’autres que le biais cognitif “de confirmation” déjà largement documenté.
Si tu regardes l’ordi d’un “innocent” et que tu croises “coucou t’as vu la saison 37 sur Netflix ? C’était de la bombe !”, ça va être considéré comme une discussion lambda, tandis que chez le “coupable” ça sera sans doute un message caché pour dire que tu prévois de faire exploser une bombe le 03/07.
Nul doute qu’il doit y avoir de multiples petits équivalents dans d’autres secteurs de la criminalistique, mais l’ensemble doit avoir beaucoup plus de procédures pour permettre de les limiter.
#7
Je trouve que c’est l’étude qui est biaisée, si on te donne un dossier en disant qu’il y a des preuves, et que tu n’en trouve pas, tu vas forcément penser que tu les a ratées, et tout reprendre, donc en trouver plus que si on ne t’avais rien dit.
Ou alors le contexte de l’étude est mal expliqué.
#8
Pour l’ado-pipi et consort, t’es coupable de tipiakage et considéré comme un pedonazi mangeur de bébé phoque qui doit être mis hors état de nuire de toutes manières disponibles.
Quoi, j’affabule ? Pas forcément tant que ça.
#9
Justement, c’était l’objet de l’étude. Tu donnes les mêmes preuves à tout le monde et t’as trois groupes à qui tu donnes des variantes subjectives du brief, du genre :
1 - Il faudrait analyser ces données… pour appuyer les aveux du suspect (groupe culpabilité)
2 - Il faudrait analyser ces données… dans une affaire (groupe témoin)
3 - Il faudrait analyser ces données… mais a priori il a rien fait (groupe innocence)
Et grosso modo, quand c’est pour innocenter tu te limites à quelques vérifications de routine et tu rates des traces, quand c’est pour faire tomber tu creuses au maximum et tu n’en rates pas, et quand c’est neutre t’as une tendance à t’approcher de ceux qui cherchent la culpabilité.
Ce dernier résultat pourrait étonner, mais contrairement à la justice dans sa globalité (et sa présomption d’innocente), le rôle de l’expert serait plutôt de partir du principe que tout le monde est coupable et de chercher les éléments qui peuvent le démontrer. Notamment car l’innocent n’a aucune preuve de culpabilité.
Bref, il faut donc transmettre les demandes d’expertises de manière aveugle, sans aucune présomption rattachée.