Pour prévenir le « revenge porn », Facebook analyse manuellement les photos

Il y a une semaine, Facebook annonçait une collaboration avec les autorités australiennes, permettant à un internaute d'envoyer une photo pour empêcher son apparition sur les services du groupe. L'entreprise oubliait de préciser qu'une validation manuelle était menée, l'obligeant à détailler son processus.

Facebook évoquait récemment un projet de prévention du « revenge porn » mené  avec les autorités australiennes. Après un contact du bureau du commissaire eSafety, un internaute peut transmettre à Facebook une photo qu'il ne souhaite pas voir apparaître sur le réseau social. Ce dernier la reçoit via Facebook Messenger puis en conserve une empreinte (hash), ensuite comparé aux photos mises en ligne sur sa plateforme.

De nombreux médias, principalement outre-Atlantique, se sont alarmés du procédé, qui met entre les mains du groupe ce qu'une personne peut avoir de plus personnel... sans garantie d'effets. Pour sa part, le groupe promet de ne pas conserver les clichés, mais reconnaît qu'une inspection humaine est menée, pour s'assurer qu'il s'agit bien d'une photo intime.

Communication de crise

Face aux critiques, le réseau social a réagi dans un communiqué, censé présenter les « faits » autour de son initiative. Il y redétaille le processus en Australie. Un (ou une) internaute remplit un formulaire sur le site du bureau du commissaire eSafety. Il s'envoie ensuite à lui-même sa photo via Facebook Messenger. Le réseau social est ensuite prévenu par eSafety qu'une image a été envoyée.

Elle est ensuite traitée par « un représentant spécialement entrainé » du réseau social, qui génère l'empreinte qui sera stockée. Elle est ajoutée à une base de données, à laquelle l'empreinte de chaque image mise en ligne est comparée. Le groupe notifie ensuite l'utilisateur, qui supprime la photo incriminée de Facebook Messenger, ce qui la « supprime de nos serveurs ».

Pourtant, comme le précise The Daily Beast, une version floutée du fichier sera conservée plus longtemps, pour s'assurer que les règles de protection sont bien appliquées. « Un petit groupe de personnes » auront donc toujours accès, un temps, à une déclinaison dégradée de l'image. Le réseau social oublie de le mentionner.

Un pilote en Australie avant une généralisation planifiée

La communication de crise a continué sur Twitter. « Nous sommes conscients du risque qu'implique l'envoi de ces images par les gens concernés, mais nous le mettons face aux dégâts sérieux, réels et quotidiens que subissent ces personnes (surtout des femmes) qui ne peuvent pas empêcher la diffusion de ces images intimes non consenties » écrit ainsi Alex Stamos, le responsable de la sécurité de Facebook, dans un fil de tweets.

Ce « petit pilote » doit déboucher sur une généralisation dans d'autres pays, nommément le Canada, les États-Unis et le Royaume-Uni. Selon Stamos, l'outil est surtout destiné aux victimes de chantage, où une personne menacerait de poster des photos compromettantes. Il faut donc choisir : courir ce risque ou envoyer les photos dont on dispose à Facebook, en prévention.

Pourquoi ne pas fournir aux membres un outil générant localement une empreinte, sans envoyer la photo elle-même à Facebook ? Outre le besoin de validation visuelle, Stamos répond que « les algorithmes d'empreintes pour photos ne sont habituellement pas inclus dans les clients, pour éviter le développement de techniques de contournement ».

L'entreprise ne donne pas d'indication sur certaines limites potentielles. L'empreinte d'un fichier correspond à une version exacte. La moindre modification permettrait de générer un hash différent, par exemple en découpant légèrement les contours.

Ce dispositif s'ajoute à celui déjà en place, qui permet de signaler des clichés intimes déjà mis en ligne. Mis en place en avril, il ajoute une option de signalement sur une publication. Cette fois, l'analyse du contenu est automatisée sur Facebook, Instagram et Messenger. Un membre diffusant de telles photos peut voir son compte suspendu.

Comme nous l'indiquions en avril, le chiffrement local appliqué à chaque message sur WhatsApp interdit aujourd'hui ce type d'analyse. Le problème s'est déjà posé dans la lutte contre le terrorisme, où l'impossibilité de passer le contenu au crible est vivement critiquée par certains gouvernements.