Alors qu'une ONG s'apprête à faire pression sur Apple afin qu'elle « détecte, signale et supprime » les contenus pédocriminels, la société explique pourquoi elle a renoncé à son projet décrié de surveillance du cloud chiffré.
Dans un geste suffisamment rare pour être noté, soulignent Wired et le cryptographe Matthew Green, Apple vient d'expliquer pourquoi la société avait finalement décidé, en décembre dernier, de mettre un terme à son controversé projet de détection des contenus à caractère pédopornographique (child sexual abuse material, ou CSAM) sur iCloud.
En réponse à un courrier de la Heat Initiative, une ONG qui lui demandait de « détecter, signaler et supprimer » les CSAM, Erik Neuenschwander, directeur de la protection de la vie privée des utilisateurs et de la sécurité des enfants chez Apple, explique en effet que « l'analyse des données iCloud privées de chaque utilisateur créerait de nouveaux vecteurs d'attaques que des pirates pourraient trouver et exploiter » :
« Cela pourrait nous amener sur une pente glissante avec des conséquences imprévues. La recherche d'un type de contenu ouvre la porte à la surveillance en masse et pourrait donner l'envie de rechercher tout type de contenu dans d'autres systèmes de messagerie chiffrée. Nous avons conclu qu'il n'était pas possible de la mettre en œuvre sans mettre en péril la sécurité et la vie privée de nos utilisateurs. »
- Apple entre renonciations, reports et grogne des employés
- Pédopornographie : Apple s'explique, mais la colère et les craintes restent
- Apple va chercher des contenus pédopornographiques dans les iPhone américains
Erik Neuenschwander précise être parvenu à cette conclusion après avoir consulté de nombreux chercheurs en matière de sécurité et de protection de la vie privée, des groupes de défense des droits numériques et de la sécurité des enfants.
« S’ils ne le peuvent pas, personne ne le peut »
La Heat Initiative s'était déclarée déçue qu'Apple abandonne son projet, arguant qu'« Apple est l'une des entreprises les plus prospères au monde et dispose d'une armée d'ingénieurs de classe mondiale » :
« Il est de leur responsabilité de concevoir un environnement sûr et respectueux de la vie privée qui permette de détecter les images et les vidéos d'abus sexuels d'enfants connus. Tant que les gens pourront partager et stocker dans iCloud une image connue d'un enfant en train de se faire violer, nous exigerons qu'ils fassent mieux. »
« La déclaration d'Apple sonne le glas de l'idée selon laquelle il est possible de scanner les communications de chacun ET de préserver la confidentialité », a tweeté Meredith Whittaker, chercheuse spécialisée en éthique de l'intelligence artificielle et présidente de la Signal Foundation, qui chapeaute l'application éponyme :
« Apple possède plusieurs des meilleurs cryptographes + ingénieurs en génie logiciel au monde + $ infinis. S’ils ne le peuvent pas, personne ne le peut. (Ils ne le peuvent pas. Personne ne le peut.) »
Le manque d’intimité est aussi une menace pour la sécurité
Le New York Times n'en relève pas moins que Heat Initiative a réussi à lever 2 millions de dollars afin de lancer une « campagne publicitaire nationale » sur des sites web populaires auprès des décideurs politiques à Washington, tels que Politico, arguant que 90 % des États-Uniens estiment qu'Apple doit « détecter, signaler et supprimer » les CSAM.
Ce chiffre émane d'un sondage d'opinion (.pdf) effectué par le Bellwether Research auprès d'un échantillon représentatif de 2 041 adultes, en ligne. Bien que 79 % des répondants reconnaissent ne pas être familiers avec les technologies utilisées pour détecter les images et vidéos d'abus pédosexuels, 83 % pensent qu'il est possible d'identifier, signaler et supprimer les contenus pédopornographiques sur les plateformes tout en protégeant la vie privée des utilisateurs « en même temps », et 86 % approuvent le fait qu' « Apple prenne des mesures pour mieux protéger les enfants contre les abus sexuels, même si cela implique de renoncer à une partie de ma propre vie privée ».
Ce qui fait bondir Joseph Menn, journaliste cyber du Washington Post, qui appelle les journalistes à ne pas tomber dans cette « simplification excessive », et à ne pas opposer sécurité et confidentialité, au motif que « le manque d’intimité est AUSSI une menace pour la sécurité » et que « la plupart des gens qui ne comprennent toujours pas cela ont tendance à ne pas vivre dans des pays autoritaires et n’ont jamais couru le risque d’être harcelés, peut-être parce qu’ils sont des hommes et ne sont pas célèbres. Mais une fois qu’une technologie est en panne pour certains, elle est en panne pour tous. »
I suspect that most people who still do not get this tend not to live in authoritarian countries and have never been at risk of being stalked, perhaps because they are male and not famous. But once a piece of technology is broken for some, it is broken for all.
— Joseph Menn (@josephmenn) September 2, 2023
Apple n'a fait que 234 signalements, Facebook 22 millions
La Heat Initiative a programmé sa campagne en prévision de la présentation annuelle de l'iPhone par Apple, le 12 septembre. La campagne est dirigée par Sarah Gardner, auparavant vice-présidente des affaires extérieures de Thorn (une organisation à but non lucratif fondée par Demi Moore et son ex-mari Ashton Kutcher pour lutter contre les abus sexuels commis sur des enfants en ligne) et qui précise que « l'objectif est de poursuivre les tactiques jusqu'à ce qu'Apple change sa politique ».
La Heat Initiative souligne qu'aux États-Unis, Apple n'a effectué que 160 signalements en 2021 (.pdf) au National Center for Missing and Exploited Children (NCMEC), alors que Google en a fait 875 783, et Facebook 22 millions :
« En 2022, la CyberTipline du NCMEC a reçu un nombre impressionnant de 32 millions de signalements, dont près de 90 % provenaient de quatre fournisseurs de services électroniques seulement : Facebook, Instagram, WhatsApp et Google. Ces géants de la technologie ont signalé et retiré plus de 29 millions d'images et de vidéos montrant des abus sexuels commis sur des enfants, ce qui montre l'impact considérable que peuvent avoir les entreprises qui s'engagent à protéger les enfants sur leurs plateformes.
En revanche, la contribution d'Apple n'a consisté qu'en 234 signalements, ce qui souligne la nécessité pour toutes les entreprises technologiques de s'engager activement à assurer la sécurité des enfants en ligne. »
Un groupe de deux douzaines d'investisseurs gérant près de 1 000 milliards de dollars d'actifs aurait également demandé à Apple de rendre public le nombre d'images abusives détectées sur ses appareils et ses services, rapporte le NYT :
« Deux investisseurs – Degroof Petercam, un gestionnaire d'actifs belge, et Christian Brothers Investment Services, une société d'investissement catholique – soumettront ce mois-ci une proposition d'actionnaire qui exigerait qu'Apple fournisse un rapport détaillé sur l'efficacité de ses outils de sécurité pour protéger les enfants. »
Le NYT relève cela dit que « ces signalements ne reflètent pas toujours des contenus réellement abusifs : certains parents ont vu leur compte Google suspendu et ont été signalés à la police pour des images de leurs enfants qui n'étaient pas de nature criminelle », comme nous l'avions d'ailleurs relaté.
Commentaires (46)
#1
Ils sont chauds à la Heat Initiative !
#1.1
#2
Une petite douche froide pour le solutionnisme technologique.
Le curseur entre respect de la vie privée et protection de l’enfance va donc devoir être positionné par des politicien(ne)s. Ça a beau être leur boulot, j’ai du mal à leur faire confiance pour faire un choix éclairé dans cette lourde tâche.
#3
On va juste vers la fin des droits fondamentaux au nom de la lutte contre la criminalité.
N’oublions pas que l’U.E. s’apprête à rendre cet espionnage de masse obligatoire.
#4
Aaah le fameux sondage qui clôt tout débat !
L’asso pourrait poser la question “êtes-vous d’accord pour que la recherche de CSAM compromette votre compte et celui de tous les utilisateurs, vous expose à de l’hameçonnage ou du chantage à la donnée, ou à la publication de données personnelles que vous pensiez en sécurité sur iCloud ?”
Là je doute qu’on obtienne 86%…
#5
Donc il compare un service comme iCloud avec Facebook, Instagram, WhatsApp, etc.. ils vont allez loin.
#6
Le grand classique du “What about the children?” quand on a plus d’arguments.
#7
On voit bien qu’à l’heure actuelle, tout ce qui est technologiquement possible est tenté. Pourvu qu’une technologie permette de faire de l’argent. Apple gagne à respecter la confidentialité de ses clients et d’autres feront autrement.
Je vais peut-être aller voir Oppenheimer le film finalement.
#8
« … ne pas opposer sécurité et confidentialité, au motif que « le manque d’intimité est AUSSI une menace pour la sécurité »
🤔💭
#9
une petite bombe ce film
Plus sérieusement, comparer des boites dont le business c’est l’exploitation et la revente de donnée à une autre dont le business c’est vendre du matos et des abos liés à ce matos j’ai du mal à comprendre.
Ils font pas encore chier Signal, etc, … et ils vont faire chier AdopteUnMec & co aussi ?
Après la piste d’Apple de déporter les vérifications sur le terminal au moment du transfert/stockage je ne sais pas où ils en sont.
#10
Hum …
Récemment ils se sont attaqués à une app / site de rencontre pour les 13 - 25 ans (du peu que j’en aie lu … je crois que c’était une bonne chose).
Je suis toujours étonné de voir que ce genre de trucs n’est pas caché, comme pour les 29 millions de signalement de Facebook, Instagram, WhatsApp et Google.
Parfois je me dis qu’on a de la chance qu’une partie non-négligeable des criminels sont nuls en informatique (ou alors c’est juste la partie émergée et ça fait peur …)
#10.1
Perso. on contraire, il vaut mieux en parler et ne pas le cacher non seulement pour montrer que les plateformes/justice agissent et aussi pour sensibiliser les enfants.
Maintenant il faut quant même savoir différencier propositions pédophiles et images pédophiles (sans oublier les faux positifs et les pratiques des plus jeunes à s’envoyer leurs parties via les plateformes). Sur le site que tu cites, on est à 26 signalements par an sauf la dernière semaine où ça a explosé : “… avec un très gros afflux ces deux derniers jours : 129 signalements ont été reçus mercredi, a-t-on appris de source policière.”
#10.2
Quand je dis caché, c’est par les criminels, mais si comme toi et Mihashi le disent ça comprend des contenus réalisés par des enfants je comprends mieux.
La formulation abus sexuels commis sur des enfants me faisait croire que l’enfant n’était pas le seul acteur.
Le dernier article que j’avais lu au sujet d’Apple et Icloud ça parlait de comparer la signature des images à une banque de donnée d’images existante, je pensais que c’était la même chose.
#11
Alors attention, les « 29 millions d’images et de vidéos montrant des abus sexuels commis sur des enfants » ne sont largement pas toutes des médias « montrant des abus sexuels commis sur des enfants », mais sont prises et diffusées par les enfants eux-mêmes.
#12
Tu as des articles là dessus stp ? Ou au moins le nom du texte ?
#12.1
Par exemple:
https://www.patrick-breyer.de/en/posts/chat-control/
#12.2
Il fait référence entre autres à ça https://www.nextinpact.com/lebrief/69757/les-cnil-europeennes-se-disent-tres-inquietes-projet-antipedopornographie-europeen
#13
On parle bien ici de signalement donc ça n’exclue pas aussi les doublons.
#13.1
Je ne retrouve plus l’article, mais de mémoire, parmi tous ces signalements provenant de Google et Meta, une part non négligeable du contenu détecté comme CSAM est généré par les enfants eux-même. Ils ont même un terme pour ça : “Self-generated CSAM”.
Donc si un couple d’ados de 15 ans sextote via WhatsApp, si je comprend bien, il est tout à fait possible que leurs photos soient détectées comme CSAM, passent entre les mains de la modération de Meta, et envoyé à une asso, qui va fournir tout ça aux autorités ?
#13.2
Tentes pedophile ou pedophilie sur NXI tu devrais retrouver l’article.
Euh non, ce n’est pas envoyé à des associations. Meta et Whatapp se contentent de bloquer le contenu voir suspendre le compte après c’est porté devant la police.
Les chiffres sont toujours énormes mais en fait les 3⁄4 des images proviennent de gamins, pre-ado., adolescents (en tenant compte pour chaque pays/législation). Sur le reste, il faut encore retirer les faux positifs et les erreurs puis après sur les véritables images faut virer les doublons.
#14
…
#15
Non.
Il est de leur responsabilité de concevoir un environnement respectueux de la vie privée.
La possibilité de détecter X, Y ou Z c’est du bonus. Mais s’il faut sacrifier le respect de la vie privée pour ce bonus, alors c’est non.
#16
Je vois qu’il y encore des personnes qui croient que même dans nos sociétés pourtant sécurisées les textos, emails, post sur des réseaux sociaux et autres sont et resteront privés à jamais…
A partir du moment où vous diffusez quoi que ce soit sur le net, cela ne vous appartient plus…
PS: c’est bien des comptes de personnalités hébergés chez Apple qui avaient été hackés pour diffuser toutes leurs photos intimes ?
#16.1
Oui, mais c’était du phishing je crois. Ils ont récupéré des mots de passe, ils n’ont pas cassé le système en lui-même.
#17
Dans un sens, je peux tout à fait comprendre Apple pour éviter cette surveillance de masse, pour autant que la requête d’un juge puisse avoir accès à des comptes dans le cadre d’une enquête sérieuse.
Ensuite, c’est un peu simple de comparer le nombre de signalements entre Apple et Facebook comme ce dernier est justement pour partager des informations, d’où une plus grande facilité à détecter des comportements douteux.
Enfin, j’ai quelque peu l’impression que la pédopornographie, qui est certes complètement inadmissible et horrible, sert quand même d’excuses, voire de prétextes, pour une surveillance de masse toujours plus importante…
#18
Notons qu’en Allemagne de l’est, personne ne se faisait non-plus d’illusions sur la confidentialité du courrier, et la Stasi ouvrait systématiquement les enveloppes des personnes qui tombaient sur son radar.
La question reste: allons-nous vers un piétinement systémique de nos droits fondamentaux au nom de la lutte contre certains crimes? Une fois la boîte de pandore ouverte, quels seront les droits suivants qui y passeront? Sous quels prétextes?
On parle de vol de données dans ce cas. Prône-tu que dès que quelque-chose de privé existe dans le domaine du numérique, il ne mérite plus d’avoir les mêmes protections légales au niveau vie privée?
#19
Oui, si la technologie le permet, ça se fera. Tout ce qui l’empêchera ne sera que juridique, politique ou socio-économique (morale, éthique, culture).
#20
Les droits fondamentaux sont des principes. C’est comme l’horizon.
La règle de droit (les lois, réglements, décrets, etc) en est les limites, les contours. C’est comme les reliefs du paysage qui obstruent la vue vers l’horizon.
Sans reliefs, sans paysage, l’horizon n’est rien.
#21
Les droits fondamentaux, ça fait partie de la hiérarchie des normes dans l’U.E., ce n’est pas juste l’horizon, c’est les fondations de l’U.E. , et si les fondations ne tiennent plus il faudra abattre tout l’édifice sous peine de risquer de crever dans un éboulement.
#22
???
???
Relis calmement.
Je n’ai pas dit que les données méritaient d’être rendus publiques, simplement qu’elles ne t’appartenaient plus vraiment vu que tu déléguais leur conservation, voire leur diffusion à un tiers.
De plus ces données étant duplicables à l’infini, tu ne peux jamais vraiment savoir si tu les supprimes totalement quand tu le souhaites.
Les lois étant les mêmes pour tout ce que tu possèdes, la différence est une affaire de probabilité.
Garder une photo argentique chez toi, c’est comme la mettre dans un “coffre” à l’abri de presque tout le monde.
Mettre la même photo en ligne, c’est la mettre dans une cage métallique plongée dans un bassin à mégalodons en priant pour que les barreaux tiennent.
#23
Ok il est dit que ça a été abandonné mais en réalité la technologie était déjà prête à être mise en production non ? Si ça a été annoncé.
Qui s’assure de ce qui est fait sur des serveurs icloud a part la parole marketing ?
#23.1
Je n’en suis pas certain, mais je crois que ce traitement ne serait pas très RGPD compatible si Apple ne l’annonce pas.
Du coup, Apple aurait moins à y perdre en annonçant clairement qu’il effectue ce traitement.
Technologiquement ça ne me semble pas complexe. Quand un fichier est envoyé on crée une signature et on compare à la banque de données.
#23.2
Effectivement.
En fait j’ai cherché des audits du système iCloud et je n’en ai pas trouvé. Peut-être parce que je n’ai pas bien cherché, ou que ça n’est simplement pas public ou je ne sais quoi, mais ça m’a questionné.
#24
Hummm vous vous posez la question pour la moindre application que vous utilisez ? Vous avez demandez le code source et le code compilé sur les serveurs de nextInpact?
#24.1
Pourquoi ? Vous avez des révélations à nous faire ?
Sinon oui j’essaie de faire au maximum de mes capacités et de mon temps pour savoir ce qui est fait de mes données. Pour le cas qui nous intéresse, ce qui est mis sur iCloud (photos, vidéos, documents etc.) n’est pas rien.
#25
Non. Le traitement doit simplement être présent dans le registre des traitements. Il n’a pas vocation a être publique (il peut l’être, mais ce n’est pas une obligation). Et si la base retenue est la base légale, aucune obligation de communication (contrairement au consentement, qui nécessite, par principe, l’information de l’utilisateur).
Au contraire. Si calculer un hash est simple et rapide, avoir un hash sur des images et qui soit résistant à des transformations basiques, c’est une véritable gageur. Car tu peux être sur que le législateur voudra que si on soumet une image, elle soit détectée qu’importe son format (jpeg, png, webp, gif, …), sa résolution, ses dimensions, etc…
#25.1
Même si c’est compliqué, ils semblent déjà l’avoir.
Je suis peut être entrain de confondre plusieurs sujets, désolé si c’est le cas.
#26
NeuralHash porte à la fois bien et mal son nom. Je t’invite à lire cet article pour en comprendre plus sur son fonctionnement
NeuralHash est un réseau de neurones convolutionnel (CNN pour les intimes, rien à voir avec la chaine homonyme !).
Il porte bien son nom car c’est un algorithme qui calcul un hash et que est basé sur des réseaux de neurones.
Il porte mal son nom, car l’algorithme n’est pas connu. Il dépend du modèle issu d’un entrainement, alors qu’un algorithme de hash est censé être une fonction bien déterministe et reproductible. Ce qui sera impossible sans avoir l’accès au modèle entrainé.
Autrement dit, celui qui fera les vérifications devra calculer lui-même les hashs pour se constituer une base de données.
A moins que le modèle utilisé ne soit le même partout. Mais pas sur qu’Apple livre ainsi son algorithme au reste du monde… Reste aussi à voir la taille du modèle (en terme d’IA on arrive vite à des modèles assez conséquent) qui pourrait rendre son exploitation délicate.
#26.1
L’idée (et c’est mentionné dans l’article que tu cite) c’était d’utiliser la base de données CSAM pour générer la base de données de hash qui sera stockée du coté Apple.
La fiabilité n’est pas importante, c’est un premier filtre, ils auraient même utilisé un pourcentage de ressemblance pour aller plus loin.
Apple semble dire que le soucis principal c’était la vie privée de l’utilisateur, pas la détection de contenu CSAM.
#27
Tu réponds toi-même au problème que cela soulève :
Si la fiabilité n’est pas importante et que cela ne sert que de filtre, alors cela signifie intrinsèquement que les contenus “positifs” (exact ou approchant) seront envoyés à Apple pour “analyse approfondie”, au détriment donc de la vie privée.
On est très loin donc d’une fonction de hash classique (la famille SHA ou même MD5) où
En effet, c’est 2 points ne sont pas respectés par NeuralHash.
Attention, il n’y a pas de base de données CSAM (ce serait en plus du pain béni pour les pédophiles). Ce serait à Apple de constituer sa propre base de données CSAM à partir de contenus identifiés (par qui ?) comme relevant du CSAM.
#27.1
https://www.interpol.int/Crimes/Crimes-against-children/International-Child-Sexual-Exploitation-database
#27.2
J’aurais du être plus précis : il n’existe pas, à ma connaissance, de base de données “ouverte”. La base d’interpole est limitée aux forces de l’ordre. Apple n’y aura donc pas accès et ne pourra donc pas réaliser une base de données de NeuralHash
#27.3
Ils envisageaient d’utiliser la base NCMEC
Sans aller très loin, il y a un article de google qui en parle.
La citation va être un peu longue, mais en gros :
Donc je maintiens que techniquement ils savent le faire. Ils ont juste estimé que c’était impossible sans sacrifier la vie privée (et ils ont peut être raison à cause des faux positifs).
#28
Justement, quand je lis l’article, je comprends que la base NCMEC n’est pas une base d’image mais une base de hash (“Cette base sera stockée de manière sécurisée et les utilisateurs ne pourront pas y accéder” ou autrement dit, la base est sur le matériel de l’utilisateur).
Encore une fois, ce qui est partagé entre les entreprises, se sont des bases de hash, pas des bases d’images.
Je ne dis pas que c’es techniquement pas faisable. Je dis que ce n’est pas techniquement faisable aujourd’hui en préservant la vie privée.
Les technologies existantes, bien qu’elles puissent aider à détecter les contenus, nécessite l’accès au contenu de l’utilisateur pour écarter les faux positifs.
De plus, les bases de hash étant fourni par des organismes tiers comme le NCMEC, les entreprises comme Google ou Apple doivent :
Le point 2 est crucial, car il sera nécessaire que l’algorithme soit vérifié et éprouvé, et donc communiqué. Vu l’impact que cela peut avoir dans notre quotidien, notamment dans le cas de faux positif (j’ai en tête les faux positifs de Google, où les personnes ont été blanchi par la justice (images médicales envoyées au médecin traitant) mais où Google à quand même clôturer le compte et aucun recours possible).
Pour résumer (parce que ça commence à être long avec tout nos commentaires :) ) :
#28.1
Ben … alors ça fait 2 pages qu’on dit la même chose sans se comprendre.
Pour la base NCMEC, je crois qu’Apple (et autres entreprises qui pourraient en avoir besoin) peuvent envoyer leur système hash pour obtenir une base.
Et d’accord avec le résumé que tu as fait.
#29
Toutes cette énergie pour limiter le partage … mais AUCUN MOT sur comment empêcher que des enfants ne se fassent abuser dans la vraie vie … bref encore une fois à côté de la plaque !