Apple va chercher des contenus pédopornographiques dans les iPhone américains

Au sein d’un livre blanc, Apple livre des informations sur la manière dont la chasse aux images pédopornographiques va s’intensifier sur iOS/iPadOS 15 et macOS Monterey, notamment à travers un mécanisme de recherche locale nommé NeuralHash.

Des rumeurs circulaient depuis hier. Le chercheur en sécurité Matthew Green avait publié plusieurs tweets sur l’arrivée probable d’un outil local permettant à Apple de repérer sur les iPhone, iPad et Mac des images à caractère pédopornographie pour prévenir les forces de l’ordre en cas de trouvaille.

Avant de plonger en détail sur cette mécanique – confirmée par Apple hier soir –, rappelons que des demandes sont formulées par ces mêmes autorités depuis des années. Comme l’indique Green, le chiffrement de bout en bout a envahi petit à petit de nombreux services sur les smartphones. Et si cette protection apporte un avantage très clair en matière de sécurité et de vie privée, elle a rendu certaines enquêtes bien plus complexes.

Le problème est connu et pousse depuis des années de nombreux représentants des forces de l’ordre et politiques à réclamer des portes dérobées (backdoors). On l’a dit et répété, ce type de demande ne peut qu’entrainer à terme une baisse notable du niveau de sécurité, car il est impossible de garantir qu’une telle porte ne sera utilisée que par les autorités compétentes. Tout pirate pourrait la trouver, engendrant des catastrophes en cascades.

Cette thématique pose depuis longtemps la question du curseur entre sécurité et vie privée. Le terrorisme et la pédopornographie sont souvent mis en avant pour justifier les demandes de portes dérobées. Le sujet ressort chaque fois qu’une entreprise fait une annonce sur le chiffrement de bout en bout, comme Facebook en 2019. L’entreprise avait alors confirmé que ses messageries seraient unifiées, mais qu’en plus elles seraient protégées par le fameux chiffrement. Le plan n’est toujours pas concrétisé, mais on se souvient des angoisses affichées par certains gouvernements devant une telle perspective.

En matière de lutte contre la pédopornographie, Apple arrive en fait un peu après tout le monde. Mais la position du constructeur, désormais très claire, fera tache d’huile.

L’analyse locale des empreintes d’images

Dans son livre blanc, Apple a annoncé trois mécanismes. Commençons par le premier et le plus important : l’outil permettant de comparer localement les empreintes des images avec celles présentes dans une base de données. Un outil de type CSAM (Child Sexuel Abuse Material) spécifiquement conçu pour les nouvelles versions des systèmes que la firme publiera en septembre ou octobre.

La technologie d’Apple est baptisée NeuralHash. Son principe est simple : récupérer une base auprès du NCMEC (National Center for Missing and Exploited Children) qui permettra de vérifier que les téléphones, tablettes et ordinateurs de l’entreprise ne contiennent pas d’images marquées comme pédopornographiques. Cette base sera stockée de manière sécurisée et les utilisateurs ne pourront pas y accéder.

NeuralHash génère une empreinte volontairement « floue », de manière à repérer quand même des photos qui auraient été retravaillées, notamment recadrées. Changer les couleurs (par exemple passer au noir et blanc) ne modifiera pas non plus l’empreinte.

Pour chaque correspondance trouvée, le système génère un jeton cryptographique. Il va non seulement accompagner l’image lors de son ajout à iCloud Photos (nous y reviendrons), mais également être envoyé à Apple. Dans le livre blanc, la société indique ensuite qu’une fois un certain seuil dépassé (aucune précision n’est donnée), un employé sera chargé d’examiner manuellement les correspondances.

Il y a donc une visibilité des clichés marqués comme potentiellement problématiques. Apple insiste cependant : ne sont vues que les images identifiées comme pédopornographiques par NeuralHash, qui lui-même ne manipule que des empreintes, soit des suites de chiffres. De plus, l’outil serait très précis, n’aurait qu’un très faible taux d’erreur et serait bien plus respectueux de la vie privée que l’analyse des images sur les serveurs d’iCloud.

La mention d’iCloud est importante pour deux raisons. D’une part, Apple analyse déjà depuis des années les sauvegardes faites sur ses serveurs à la recherche de ces contenus. On savait déjà que les données ainsi mises à l’abri étaient inspectées, Apple étant en mesure de donner aux forces de l’ordre ce qu’elles demandent avec un mandat dûment délivré par un juge.

Pour rappel, l’affaire de San Bernardino avait provoqué la colère du FBI parce que le terroriste avait coupé iCloud et qu’Apple était dans l’impossibilité de récupérer les contenus locaux (le code PIN participe à la création de la clé de chiffrement).

• iPhone (dé)verrouillé : résumé et épilogue de l’imbroglio San Bernardino

D’autre part, NeuralHash ne fonctionne – pour l’instant en tout cas – que si iCloud Photos est activé. En somme, l’outil ne fait que rapatrier localement la capacité des serveurs. En cas de coupure d’iCloud, on revient à la case départ.

Précisons en outre que ce mécanisme ne sera dans un premier temps actif qu’aux États-Unis.

Peurs sur le potentiel de l’outil

Certains aspects de NeuralHash peuvent « rassurer ». D’abord le garde-fou de l’analyse a posteriori sur la base de clichés existants. Il ne s’agit pas de repérer, via du machine learning, des images potentiellement pédopornographiques. Ensuite la visibilité des seules images affichant une correspondance avec la base du NCMEC, ce qui signifie une vérification humaine avant signalement aux autorités.

Les autorités, justement, ont de quoi se réjouir. Il était reproché à Apple d’avancer à reculons dans un domaine où tous les grands noms de l’informatique sont impliqués depuis longtemps. Facebook, Google, Microsoft ou encore Twitter analysent tous les images transitant par leurs réseaux en vue de débusquer ces images.

Mais là où certains approuvent, d’autres déchantent. « Apple peut expliquer en détail comment son implémentation technique préservera la vie privée et la sécurité dans sa porte dérobée proposée, mais en fin de compte, même une porte dérobée minutieusement documentée, pensée avec soin et au ciblage précis reste une porte dérobée », pointe l’Electronic Frontier Foundation.

L’EFF se dit « très déçue » par Apple, qui était jusqu’ici une « championne du chiffrement de bout en bout ». Surtout, elle craint un glissement vers une utilisation abusive de l’outil, maintenant que la porte est ouverte et que le signal a été envoyé aux gouvernements, y compris ceux à la tête de régimes autoritaires.

Rien n’empêcherait alors un gouvernement condamnant pénalement l’homosexualité de détourner l’outil pour chercher des images incriminantes en vue d’une chasse aux personnes LGBTQ+. Même chose avec les images satiriques et autres éléments de protestation.

L’EFF rappelle que de tels détournements ont déjà eu lieu, par exemple dans le cas de la fameuse base de contenus « terroristes » à laquelle peuvent participer toutes les grandes entreprises tech. À la source de cette base se trouve un outil créé initialement pour repérer les contenus pédopornographiques.

« Les gouvernements vont le demander à tout le monde »

Cette peur est partagée par Matthew Green. Dans une série de tweets publiés hier, il revient notamment sur l’impossibilité de marier véritablement vie privée et sécurité, et la généralisation des analyses de données avant qu’elles soient chiffrées, y compris sur les terminaux (fixes ou mobiles). Une « surveillance décentralisée » et limitée à des empreintes, mais qui revient au même : « Oui, l’analyse côté client est meilleure que sur des images en clair et l’analyse sur les serveurs. Mais, dans une certaine mesure, la fonctionnalité est la même. Et sujette aux abus… ». Même son de cloche chez Edward Snowden.

On retrouve le point central dénoncé par l’EFF : « Quiconque contrôle la liste peut chercher le contenu qu’il veut sur votre téléphone et vous n’avez pas vraiment de moyen de savoir ce qui est sur cette liste puisqu’elle est invisible ». Quand bien même on obtiendrait cet accès, on ne récupèrerait qu’une liste de « nombres opaques ».

Le chercheur affiche plusieurs craintes, dont celle de voir le mécanisme s’étendre aux images chiffrées localement, même si iCloud Photos est désactivé. « Posez-vous la question : pourquoi Apple dépenserait autant de temps et d’efforts pour concevoir un système spécifiquement fait pour analyser les images existant uniquement sur votre téléphone, s’ils ne prévoyaient pas de l’utiliser en fait pour des données que vous ne partagez avec eux ? ».

Lui aussi craint le signal « très clair » envoyé par la firme : « Selon leur (très influente) opinion, il est bon de bâtir des systèmes pouvant scanner les téléphones des utilisateurs à la recherche de contenus prohibés. C’est le message qu’ils envoient aux gouvernements, aux services concurrents, à la Chine, à vous ». Il ne fait aucun doute pour lui que « les gouvernements vont le demander à tout le monde ».

Une protection dans iMessage quand il est utilisé par un enfant

Deux autres mécanismes sont prévus pour cet automne avec les nouveaux systèmes. D’abord une protection pour les enfants disposant d’un appareil compatible, quand les conditions sont remplies : avoir moins de 18 ans et un compte estampillé Famille. En clair, un appareil relié au compte des parents. Autre condition, mais qui devrait varier dans le temps celle-là : être un utilisateur américain.

Cette protection repose sur un algorithme de machine learning qui pourra détecter si l’image envoyée ou reçue entre dans la catégorie « sexuellement explicite ». Si c’est le cas et que l’enfant a moins de 13 ans, une notification sera automatiquement envoyée aux parents. Entre 13 et 17 ans, aucune notification ne sera envoyée.

Dans les deux cas, un avertissement sera affiché sur l’écran de l’enfant. Il devra décider s’il veut vraiment envoyer ou recevoir l’image, qui restera floue. C’est seulement en cas de confirmation que la notification parentale sera envoyée. Si cette étape est franchie, la photo ne pourra pas être effacée tant que les parents ne le feront pas eux-mêmes. Dans ce mécanisme, Apple ne voit pas les images.

Là encore, l’EFF se dit déçue. Apple a choisi de passer par du machine learning « notoirement difficile à auditer ». La technologie aurait, selon la fondation, fait la preuve depuis des années de sa capacité à générer des faux positifs. Or, aucun mécanisme de contrôle humain n’est prévu, même si le cas contraire aurait déchaîné les passions. On imagine les tensions familiales générées par des images faussement reconnues comme à caractère sexuel. Sans parler de la sensation, comme pointé par l’EFF, qu’ « Apple regarde par-dessus notre épaule ».

Difficile pour elle, dans ces conditions, de considérer qu’iMessage est toujours une messagerie chiffrée de bout en bout. Que l’analyse intervienne avant ou après le chiffrement des données n’est vu, pour l’EFF, que comme une « manœuvre sémantique » ne changeant rien au fond du problème.

Enfin, dernier mécanisme annoncé par Apple : Siri et la recherche dans iOS/iPadOS 15, macOS Monterey et watchOS 8 fourniront des liens pour rapporter des cas d’exploitation sexuelle de mineurs si l’utilisateur en fait la demande. Il s’agit davantage d’une rationalisation de l’information que d’une réelle nouveauté.

Progression de la sécurité contre régression de la vie privée

On peut s’en douter, les avis divergent fortement sur les annonces d’Apple. Même la communication de l’entreprise est sujette à débat. Il est probable que les explications aient été rendues publiques pour calmer d’avance les discussions passionnées qui ne manqueraient pas de suivre si la fonction était découverte autrement.

Finalement, c’est toute la campagne marketing d’Apple basée sur « Ce qui se passe sur votre iPhone reste sur votre iPhone » qui est à jeter aux orties. En intervenant directement sur l’appareil, Apple ne peut plus se prévaloir de préserver quoi qu’il en coûte la vie privée des utilisateurs sur leur téléphone.

Il n’est pas certain que la firme aurait pu maintenir cette position encore longtemps. On imagine aisément les pressions exercées par les gouvernements pour que l’entreprise ploie enfin devant leurs demandes. Difficile décidément de positionner le curseur quand le même appareil peut être utilisé pour des raisons autant légitimes que criminelles.

Mais d’un strict point de vue technique, c’est bel et bien une régression de la vie privée, alors que la société fait de cette dernière un argument fort de sa communication. Le journaliste Dan Gillmor n’y va pas par quatre chemins : « Cela trahit complètement les pieuses assurances de l’entreprise sur la vie privée. Ce n’est que le début de ce que les gouvernements demanderont partout. Toutes vos données seront des cibles légitimes. Si vous pensez autrement, vous êtes définitivement naïfs ». Le chercheur en sécurité Alec Muffett, interrogé par le Financial Times, parle de son côté de « mouvement tectonique ».

Apple occupe une place à part dans l’industrie technologique. Ses choix sont surveillés et de nombreuses entreprises suivent ses mouvements comme autant de directions à prendre en compte, au minimum. Qu’une telle société, avec son historique particulier sur la vie privée, bascule dans la recherche de contenus sur les appareils n’a pas fini d’inquiéter. Les autres répondront que c’est une immense victoire dans la chasse aux réseaux d’échanges d’images pédopornographiques.