Suresnes veut détecter les comportements suspects

Dans son numéro 324 de mars 2021, le magazine municipal annonçait de fait que Yoann Lamarque, adjoint délégué à la Sécurité et à la Prévention, avait présenté au Conseil municipal, le 10 févier dernier, « l’offre faite à la Ville par l’entreprise suresnoise XXII Group, spécialisée dans le domaine de l’intelligence artificielle » en matière de « vidéoprotection » :

« Cet outil doit permettre la détection en temps réel des personnes présentant un comportement suspect et de favoriser la constatation des infractions routières. Cette proposition fait l’objet d’une convention pour une durée de 18 mois. La mise en place du logiciel est soumise à l’autorisation préalable de la CNIL. »

« Nous voulons montrer notre solution comme une technologie capable de solutionner des problématiques environnementales (détection de poubelles trop pleines, dépôts sauvages, départs d’incendie, éclairages intelligents) et de mobilité (feux rouges intelligents, analyse du trafic). Notre vision chez XXII est que l’Intelligence artificielle ne doit plus être perçue comme un outil uniquement sécuritaire mais dorénavant comme une solution pour tranquilliser le quotidien des citoyens » explique William Eldin, 33 ans, cofondateur de XXII :

« Nous respectons très strictement la loi et nous rencontrons très régulièrement la CNIL. Il n’est pas question de reconnaissance faciale. »

Ce test, qui devrait durer un an et demi, attend encore l'autorisation de la CNIL, « dont la réponse est attendue avant l’été. » Il sera en outre limité à 10 des 89 caméras mises en place sur la voie publique et reliées au centre de surveillance urbaine (CSU) géré par la police municipale depuis 2008, et où se relaient 13 agents 24 heures sur 24.

Le partenariat devrait par ailleurs permettre de faire évoluer le logiciel de XXII Group. Car William Eldin voit plus loin que le volet sécuritaire, précise-t-il à Actus.fr : « Grâce à l’expérimentation, on souhaite créer les cas d’utilisation de l’algorithme et sortir du carcan de la sécurité : faire éteindre les lumières en pleine nuit lorsqu’il n’y a personne, détecter les dépôts sauvages, analyser le taux de remplissage des poubelles, faire passer un feu au vert la nuit s’il n’y a personne… »

Mais Guillaume Boudy, le maire, prévient : « Il [ne]faut pas aller non plus trop loin dans ces technologies. »

L'IA VS les « actions inhumaines »

Sur LinkedIn, XXII explique vouloir « améliorer les humains et leurs sens », que « la smart city n'est pas une tendance, mais un mode de vie », et que l'entreprise a été créée par « deux amis d'enfance, William Eldin (PDG) et Dam Mulhem (CDO), passionnés par les nouvelles technologies et le son » :

« À l'âge de 14 ans, ils ont fondé un groupe de musique électronique, appelé XXII, et se sont promis de le transformer un jour en une entreprise de technologie profonde [a deep tech company, ndlr]. »

XXII se présente comme « une entreprise Deep Tech spécialisée en Computer Vision, Machine Learning et Deep Learning » experte en Intelligence Artificielle, Réalité Virtuelle et Augmentée :

« En collaboration avec les laboratoires et les instituts de recherche depuis plus de 5 ans, notre équipe de 15 personnes composées de docteurs et ingénieurs travaillent en R&D sur le futur des technologies de vision et l'établissement de nos brevets.

Nous faisons de la vision par ordinateur en intelligence artificielle pour remplacer l’humain sur des actions inhumaines, répétitives et sans valeur ajoutée.

Nous travaillons les neuro-technologies pour mieux comprendre notre cerveau et servir nos technologies à atteindre plus rapidement nos objectifs d’augmenter l’homme et ses sens. »

Ses « solutions d’analyses intelligentes de flux vidéos en temps réel pour la smart city, l’industrie, le transport, le retail et l’énergie » évoquent, tout à trac : « Zoning, Gestion de foule, Maraudage, Comptage, Analyse comportementale, Catégorisation & tracking véhicule, Vidéo verbalisation, Reconnaissance de plaque, Détection d’accident, Stationnement, Analyse de trafic, Agressions, Contrôle d’accès, Colis abandonnés, Suivi de personnes, Chutes, Décharge sauvage, Dégradation, Contrôle d’accès, Suivi de personnes, Analyse de postures, Suivi & identification d’objets & de véhicules, Traçabilité, Détection de fraude, Agressions, Marketing émotionne, Agressions – Vols – Braquages, Chutes ».

Analyser en temps réel sans limites

Sur un autre site dédié, elle assure que sa solution XXII SMART CITY, lancée en octobre 2020, «  permet de déployer des compétences IA haute performance pour analyser vos flux vidéos en temps réel sans limites [et] d’utiliser le plein potentiel des réseaux de caméras installés au coeur des villes tout en respectant les droits fondamentaux des citoyens ».

🖥 Comment fonctionnent les compétences IA de XXII SMART CITY ?

Notre solution logicielle vous permet de choisir une compétence à travers un catalogue évolutif pour mieux comprendre et gérer votre ville 🏙

Visitez notre site pour en savoir plus 👉 https://t.co/QGnutvSxhZ pic.twitter.com/sJq27egnvl

— XXII (@XXII_GROUP) March 17, 2021

Elle invite à ce titre ses clients potentiels à « choisir une compétence à travers un catalogue évolutif pour mieux comprendre et gérer votre ville », et définir ce qu'il est possible et autorisé de faire, ou pas :

« Tracez une zone et définissez le temps maximum de stationnement provisoire. Seuls les véhicules statiques au-delà de cette limite seront détectés.

Délimitez la ligne d’arrêt et la position du feu tricolore. En cas de franchissement d’un véhicule au feu rouge, une alerte est activée.

Délimitez un périmètre de sécurité afin de détecter toute personne pénétrant dans la zone.

Définissez une zone à contrôler et déterminez un temps de présence maximum. Les présences suspectes seront signalées. »

Des militaires à la Quadrature

Sur Twitter, XXII explique que sa solution « est le résultat d'une collaboration étroite avec la CNIL » et, sur Facebook, que « vous proposer une solution respectueuse des droits et libertés de chacun est notre priorité ! » :

«  XXII SMART CITY suit la réglementation générale sur la protection des données.
De la conception à la mise en production, nos équipes ont collaboré avec la CNIL (Commission nationale de l’informatique et des libertés) afin de créer une solution respectueuse du RGPD. »

Interrogé sur les questions de tracking et de traçabilité, la reconnaissance faciale et la possibilité de repérer des personnes nominativement, dans le cadre d'une table ronde sur l'intelligence artificielle et l'éthique, William Eldin répondait que « c'est un sujet immense et la première barrière à l'entrée » :

« Aujourd'hui, scientifiquement, de la reconnaissance faciale dans la rue avec les caméras existantes et avec le peu de données on a sur les gens ce n'est pas possible, il n'y a pas assez de pixels. Par contre, si on met en place des systèmes exprès pour, là oui.

La moyenne d'âge à XXII [prononcer twenty two, ndlr] c'est 29 ans et y'a 99,9 % des gens qui font de l'IA qui ne veulent pas tuer, qui ne veulent pas faire peur, qui ne veulent pas détruire la crédibilité que peut apporter cet outil-là dans nos vies. Donc on met en place toute une architecture d'explicabilité pour gagner la confiance et la connaissance. »

Il prévient également avoir refusé de travailler pour l'armement, « sinon j'aurais perdu tous les membres des équipes », et créé un comité d'éthique composé, notamment, d'un philosophe, Emmanuel Goffi, directeur de l'Observatoire Ethique & Intelligence Artificielle de l'Institut Sapiens et ancien militaire, spécialiste de la robotisation des champs de bataille, et d'un membre du GICAT (le Groupement des industries de défense et de sécurité terrestres et aéroterrestres).

Et d'ajouter : « j'encourage les gens à venir, et je suis en train d'inviter la Quadrature du Net pour pouvoir justement échanger avec richesse sur des sujets "touchy" ».

Un long travail sur le plan légal

Contacté, XXII nous répond être « régulièrement en contact avec la Quadrature du Net, notamment sur la rédaction de tribunes pour la vidéosurveillance intelligente. Malgré nos divergences d’opinion sur ces sujets, nous échangeons régulièrement sur des actualités, sur nos projets afin de créer un écosystème français soucieux de l’éthique dans l’intelligence artificielle ».

XXII précise en outre avoir « sollicité la CNIL en amont et en phase de finalisation de XXII SMART CITY afin de proposer des pistes pertinentes d'accompagnement RGPD des responsables de traitement que sont les villes » :

« Nous avons proposé à la CNIL et principalement à nos interlocuteurs réguliers, des fiches de traitements détaillées de nos algorithmes utilisés. Ces fiches de traitement indiquent notamment par exemple les données captées, les finalités qui peuvent être mobilisées, les enjeux, les mesures mises en place côté XXII etc. Tout ce qui est nécessaire pour remplir une AIPD [pour "analyses d'impact relatives à la protection des données", requises par le RGPD, ndlr] côté ville. La démarche a été approuvée par la CNIL. Elle rentre totalement dans la notion d'"accountability" [responsabilité, ou responsabilisation, ndlr] défendue et portée par le RGPD.

Des fiches de traitements détaillées expliquant les implications sur le plan RGPD de XXII SMART CITY sont également systématiquement fournies. Enfin, un questionnaire afin de guider le responsable de traitement dans ses obligations légales et la rédaction de l'AIPD est envoyé. Le responsable de traitement qu'est la ville est ainsi aidé, accompagné et informé dans un objectif de compliance RGPD de son côté. Et nous portons une grande attention à ce que l’action soit faite du coté des villes, ce qui demande pas mal d’énergie. »

Interrogé quant au fait que la CNIL devrait en outre adopter un texte réglementaire, XXII nous répond qu'« au delà de la CNIL, qui ne peut qu'adopter des recommandations et/ou des avis (lignes directrices), il est nécessaire que le législateur puisse se pencher sur l’intelligence artificielle de manière générale mais aussi de manière spécifique dans des domaines précis comme par exemple celui des smart cities, de multiples cas d’usages et enjeux sont présents à ce niveau et une législation inadaptée au contexte risque de bloquer les initiatives » : 

« Les récentes propositions européennes sont déjà les bienvenues mais il reste un long travail afin de pouvoir envisager un total éclaircissement de la situation sur le plan légal. »

Qu’est-ce qu’un « comportement suspect » ? 

Le projet n'a bien évidemment pas échappé à la vigilance de technopolice.fr, le site de sous-veillance des politiques et technologies qualifiées de « Smart (et/ou Safe) City » lancé par La Quadrature du Net.

En réponse à une requête CADA, la ville de Suresnes leur a transmis la convention établie entre la municipalité et la société, qualifiée par son récipiendaire d'« expérimentale à gogo » et d'« ultra-approximative », dans la mesure où elle se borne à expliquer que « l'algorithme concerné est celui du maraudage », sans plus de précisions.

« Avant, les agents regardaient les caméras au hasard, alors, ils loupaient parfois des faits importants. Grâce à ce  logiciel, ils seront immédiatement alertés en cas de comportements suspects. Ce sont eux qui décideront s’ils interviennent en voyant les images », précise de son côté le maire de Suresnes au Parisien  : 

« Mais qu’est-ce qu’un "comportement suspect" ? En réalité, ces outils repèrent les "mouvements de rupture". Une caméra "intelligente" peut par exemple apprendre à remarquer une personne qui court ou saute dans la rue alors  que les autres marchent. La vidéosurveillance intelligente de Suresnes est ainsi censée détecter des regroupements ou encore des scooters roulant sur une piste cyclable. »

Le dispositif est également censé aider la municipalité à « mieux déployer » ses agents sur le territoire et, pour ce qui est du « fléau » des dépôts sauvages et encombrants sur la voirie, « la caméra alertera le centre de surveillance si elle repère des objets volumineux. »

Dans l'épisode consacré à la « safe city » de La série documentaire (LSD) intitulée « À l'ère de la surveillance numérique » récemment diffusée sur France Culture, Wiliam Eldin explique que « reconnaître un bagage ou un être humain, c'est un réseau de neurones, ensuite on a un tracker qui va traquer l'objet image par image, et toutes les règles logicielles qui viennent au-dessus» :

« Si quelqu'un se sépare de plus de 5 mètres et de plus de 2 secondes d'un bagage, on demande à l'algorithme de se déclencher. C'est l'interprétation logicielle qui fait la boîte à outils de l'intelligence artificielle.

La seule limite aux cas d'utilisations type bagage abandonné, détection de dépôt sauvage ou de quelqu'un la nuit dans une rue (pour allumer puis éteindre la lumière), ou d'ambulance à un feu rouge (pour le faire passer au vert), c'est notre imagination.

Et c'est ça qui est magique, car la vision chez l'être humain est le capteur principal pour analyser et évoluer dans le monde extérieur, donc à chaque fois qu'on arrivera à reproduire des schémas de pensée d'un être humain, on arrivera à trouver un cas d'utilisation. »

Même sans reconnaissance faciale...

Interrogé par Le Parisien, William Eldin explique vouloir aller « plus loin » en « expérimentant » le champ d’application de son système au-delà des questions de sécurité, comme l’environnement, le logiciel permettant également d'« indiquer le taux de remplissage des poubelles » : 

« C’est un échange de bons procédés. Je vais améliorer mes algorithmes grâce à cette expérience. Elle fera parfois des erreurs mais il n’y aura pas d’impact puisque c’est l’agent qui décidera s’il faut se déplacer. »

Le CEO voudrait aussi balayer les craintes éventuelles des citoyens : « Cette peur résulte d’une méconnaissance. Ceux qui craignent cette technologie sont dix fois plus traqués par leur portable que par ce système ! »

Une dizaine d'autres communes d’Ile de-France, dont Versailles (Yvelines) et Levallois-Perret (Hauts-de-Seine), s’intéresserait aussi à cette technologie, « qui peut inquiéter », précise le quotidien :

« Attention, il n’y a pas de reconnaissance faciale, assure Guillaume Boudy. C’était ma condition. »

Une exigence un tantinet tartufe à mesure qu'en France, la technologie de la reconnaissance faciale n’est de toute façon pas autorisée en temps réel sur la voie publique, rappelle Le Parisien.

« Même sans reconnaissance faciale, les données ne sont pas totalement anonymes, à moins d’être floutées », pointe en outre Thomas Dautieu, directeur de la conformité de la Cnil : 

« On aura deux mois pour dire si c’est conforme à la réglementation. Il faut que le système réponde à un besoin, que les personnes ne soient pas automatiquement reconnues, que les habitants en soient informés, etc. »

L’instance alerte sur l’urgence d’une réflexion nationale à ce sujet, rappelle Le Parisien :  « On n’a pas envie de constater dans cinq ans que toutes les villes l’ont installé de façon anarchique, alors que le cadre juridique n’est pas stabilisé », fait valoir Thomas Dautieu : 

« Le régime juridique de la vidéosurveillance est un peu bancal. On demande l’adoption d’une loi afin de revoir un régime qui date des années 1990 et n’est plus adapté aux développements technologiques d’aujourd’hui. 

L’idée, c’est d’avoir un débat global : juridique mais aussi politique et sociétal sur les enjeux de ces systèmes. Il ne faut pas arriver à une société orwellienne où l’on serait surveillé dès qu’on met un pied dans la rue, un magasin ou le métro. Ces logiciels ont des conséquences sur le climat de notre pays. »

Un pourcentage de faux-positifs inférieur à 10% 

La convention de partenariat entre la ville de Suresnes et XXII Group, « approuvée à l'unanimité du Conseil municipal » et prévue « pour une durée de 18 mois », précise que « lors de la mise en place d’un nouvel algorithme, la société XXII garantira la présence d’un technicien/ingénieur pour diminuer le pourcentage de faux-positif » :

« Le pourcentage de faux-positif devra dans la mesure du possible être inférieur à 10% (avant que l’algorithme ne soit exploitable par les opérateurs du CSU). Ce pourcentage doit garantir l’exploitation du système par les opérateurs du CSU sans être une gêne pour leur travail initial. Dans le cas contraire, le technicien/ingénieur pourra être maintenu sans limite de temps et jusqu’à ce que le système soit opérationnel sans gêne pour les opérateurs du CSU. »

En outre, « le projet étant expérimental, la VILLE DE SURESNES n'est pas seule responsable de son utilisation. » : 

« En effet, les alertes sont programmées par les algorithmes et par conséquent la Ville ne saurait engager sa seule responsabilité en cas de remontées d'alertes non conforme à la législation en vigueur. La Ville informera sans délai la société d’anomalies constatées liées à l’utilisation du projet expérimental afin que la société intervienne sur les algorithmes.

La VILLE DE SURESNES s’engage également à ne pas faire une utilisation du Produit expérimental contraire à l’ordre public et à la législation française et à obtenir, le cas échéant, l’ensemble des autorisations administratives nécessaires à son utilisation. »

Un risque d'atteinte à l'image

Pour ce qui est de la législation applicable en matière de Protection des Données, la convention prévoit que « les parties établissent ensemble l'analyse d'impact », et qu'elles s'engagent à « prendre en compte, s’agissant de ses outils, produits, applications ou services, les principes de protection des données dès la conception (Privacy by design) et de protection des données par défaut (Privacy by default) » : 

« Les formalités auprès de la CNIL seront assurées par la Ville de Suresnes qui demandera le concours de XXII en cas de besoin. Dès l'accord de la CNIL, les parties pourront mettre en place le Projet au sein du CSU. »

De plus, « la mise en oeuvre du projet est soumise à la CNIL » : 

« En cas de refus de cette dernière et en fonction de l’analyse de l'avis rendu par cette autorité indépendante, les parties décideront librement :

-soit de modifier leur projet afin de le soumettre de nouveau à avis. Dans ce cas, la CONVENTION sera prolongée de 4 mois pour tenir compte du retard lié à la mise en expérimentation opérationnelle du projet.

-soit si l'une des Parties ne souhaite pas poursuivre le projet , elle en informera l'autre par un simple courrier, sans donner lieu à une indemnité quelconque pour l'autre partie. La convention prendra fin à compter de la date de réception dudit courrier. »

Enfin, la convention prévoit que les deux parties puissent résilier le projet, « d'un simple courrier », en cas d'atteinte à leur image, « notamment en faisant l'objet de poursuites ou d'observations par la CNIL ou (...) en cas de non-respect du RGPD » : 

« La Ville se réserve le droit de résilier la présente CONVENTION dans l'hypothèse où XXII ou l'un de ses représentants porterait atteinte à l'image de la ville, notamment en faisant l'objet de poursuites ou d'observations par la CNIL ou de toute enquête liée au non-respect de la règlementation RGPD ou relative à la propriété industrielle et commerciale

XXII se réserve le droit de résilier la présente CONVENTION dans l'hypothèse où la Ville de Suresnes porterait atteinte à l'image de la société, notamment en cas de non-respect de la règlementation RGPD. »

En réponse à la demande CADA, la municipalité de Suresnes a par ailleurs précisé que « concernant l'autorisation de la CNIL, la procédure est en cours » (leur document évoque tour à tout autorisation, accord ou avis de la Commission...). Mais également que les vidéos promotionnelles mises en ligne par XXII montrent des « images mises en scène par la société, qui a également recréé le CSU dans ses locaux; celle-ci n'a donc pas eu accès à notre centre de vidéoprotection ».

Également sollicitée, la CNIL n'a pas, à ce jour, répondu à nos questions.