Hier, nous évoquions les biais d'un logiciel de reconnaissance faciale exploitant un algorithme de la société id3. Suite à notre article, Jean-Louis Revol, son Président, nous a rappelé après avoir découvert que nous avions tenté de le contacter la semaine passée, ce dont il n'aurait pas été tenu informé.
Il nous explique que le produit mis en cause « est un vieux projet, livré en avril 2018, mais qui n'a été installé que fin 2019, qui a très vite été contesté parce que la communication a été très mal faite au niveau de l'école, les gens et les parents d'élève n'ayant pas été préalablement contactés ni informés à ce sujet ».
Une question de contexte
Pour lui, le contexte nord-américain post-Snowden et autour du mouvement Black Lives Matter explique la polémique : « un parent d'élève en a entendu parler, il est allé voir les responsables de l'école, qui ont botté en touche, il a alors contacté un journaliste, le Washington Post et le New York Times en ont parlé, c'est mal parti et je me souviens avoir expliqué qu'en Europe on n'aurait pas fait comme ça ».
Le projet visait initialement à identifier les intrusions de personnes armées dans l'école. Mais aussi celles considérées comme indésirables et figurant donc dans une liste noire, parce que fichées comme criminelles sexuelles, ou suite à des incidents. Concernant la technologie de reconnaissance des armes, elle n'émane pas d'id3, mais du titulaire du marché, dont ce n'est par ailleurs pas la spécialité.
id3 s'est contenté de fournir sa technologie de reconnaissance faciale qui, d'après Revol, se contente d'alerter les responsables de l'école en cas d'intrusion d'une personne figurant sur la liste noire, les visages des élèves ni des enseignants n'étant pas fichés dans la base de données.
Au surplus, précise-t-il : « c'est un humain qui décide » ce qu'il conviendrait de faire lorsqu'une alerte est déclenchée. « D'un point de vue algorithmique, il est clair que tous les algos du marché ont un biais, on en est tous conscients, et ce n'est pas du racisme », explique-t-il, précisant travailler avec des pays africains, qui ont « zéro problème » avec son IA.
« Au pire on pourrait nous traiter de sexiste »
« Au pire on pourrait nous traiter de sexiste parce qu'une femme blanche est moins bien reconnue qu'un homme noir », et une femme noire moins bien qu'un homme noir. Les bases de données de visage sur lesquelles sont entraînées les IA des logiciels de reconnaissance faciale comportent en effet plus d'hommes blancs que d'hommes noirs, mais moins de femmes que d'hommes, a fortiori de femmes noires.
Le deep learning aurait permis à l'algorithme de passer de 60 % de réussite à plus de 99,99 %, mais ne serait « pas capable d'apprendre à apprendre : en labo on commence à y arriver, mais sur le terrain non. La reconnaissance faciale ça marche trop bien, c'est pour ça qu'il faut en avoir peur ; j'ai une amie noire, on la reconnaît avec un casque de moto, visière ouverte, avec une probabilité de la confondre avec quelqu'un d'autre de 1 sur 1 000, aujourd'hui ».
« On sait que c'est une technologie dangereuse, mais on arrive à un taux d'erreur de 0,002 %, soit pour un noir un taux d'identification positive de 99,997 %, et pour un blanc de 99,998 % : on cherche à augmenter la précision globale au maximum, et même si ça reste inégalitaire, y'a presque pas d'inégalité ».
Évoquant le classement du NIST, il précise qu'il change constamment, au gré des mises à jour des algorithmes proposés : « on était 49e sur 139, mais plus maintenant, on doit être 80e sur 250, on est quand même dans la première partie ». Évoquant le port du masque anti-Covid, il précise s'y être attelé très tôt et qu'« on a un algo qui reconnaît les porteurs de masque, en se contentant du contour des yeux ».
