Deepfakes pornographiques : quand l’intelligence artificielle sert à humilier

Deepfakes pornographiques : quand l’intelligence artificielle sert à humilier

Pics that didn't happen

Avatar de l'auteur
Mathilde Saliou

Publié dans

Société numérique

22/09/2023 13 minutes
42

Deepfakes pornographiques : quand l’intelligence artificielle sert à humilier

Avec les progrès de l'IA, notamment générative, il n'a jamais été aussi simple de créer des deepfakes, ces manipulations d'images qui peuvent impliquer des personnes réelles. Certains s'en servent pour créer des montages pornographiques. Premières victimes de cette dérive : les femmes.

« Ah, je viens de tomber sur un truc horrible ! » Le 6 août, la youtubeuse Lena Situations publie l’un de ses habituels vlogs d’août (chaque année, elle publie une vidéo par jour pendant le mois d’été). À la huitième minute de sa vidéo, on la suit, en route pour aller rencontrer une copine, quand elle tombe sur un deepfake pornographique. À Marcus, l’ami qui l’accompagne, elle explique : « C'est des gens qui font des montages, ils mettent ta tête sur le corps d’une femme nue. (…) Et y a tellement de meufs sur internet qui vivent ça. C’est horrible. C’est dégueulasse. »

Si les prouesses d’un ChatGPT et des concurrents ont de quoi épater, si les progrès de l’intelligence artificielle tiennent largement en haleine, ces progrès technologiques apportent aussi leur lot d’usages négatifs. En matière de génération d’images, depuis 2018 au moins, des alertes se multiplient sur la question des deepfakes, aussi nommés hypertrucages, notamment à caractère pornographique.

L’arbre qui cache la forêt : les deepfakes de désinformation

Comme elle le dit elle-même, Lena Situations est loin d’être la seule visée par ce type d’agression. Vingt adolescentes espagnoles ont ainsi reçu, peu après la rentrée des classes, des deepfakes à caractère sexuel d'elles-mêmes.

Mais le phénomène n’a rien de neuf : dès 2018, un faux discours de Barack Obama avait atteint une telle viralité que le monde médiatique s’inquiétaient, déjà, des risques en matière de désinformation. Dans les années qui ont suivi, ce sont de fausses vidéos de Tom Cruise ou Kim Kardashian qui ont amusé les internautes.

Beaucoup plus politique, dans le cadre de la guerre qui oppose l’Ukraine à la Russie, une chaîne d’information ukrainienne s’est retrouvée contrainte à diffuser un faux message de capitulation du président Zelensky en mars 2022. Le 5 juin 2023, ç’a été au tour de plusieurs médias russes de perdre le contrôle et de diffuser, pendant 40 minutes, un faux messages d’évacuation du président Poutine, créé par deepfake.

En France, de la même manière, le visage et la voix d’Emmanuel Macron ont été détournés à de multiples reprises. Encore tout récemment, un mix du visage du youtubeur Squeezie avec celui du Président a largement circulé sur TikTok.

Si ces détournements créent d’évidentes problématiques de manipulation de l’information, ils ne constituent pas la majorité des deepfakes qui existent. En 2019, une étude de Deeptrace calculait par exemple que 96% de ces détournements avaient un caractère pornographique. Sur cette dernière catégorie, la totalité concernait des femmes : des inconnues, des célébrités, des femmes politiques, des streameuses, etc.

La cofondatrice de l’association Féministes contre le cyberharcèlement Ketsia Mutombo lie le phénomène à d’autres types de publications, comme celles d’images intimes de célébrités, après le hack de leurs clouds. Pour elle, il ne s'agit « pas d'une nouvelle violence en soi : c’est une pratique qui fait partie du slut-shaming, du fait de renvoyer très violemment une femme à sa sexualité. Car nous sommes dans une société qui, même si elle tient des discours progressistes, estime toujours honteux qu’une femme ait une sexualité ».

L’IA générative : vers l’« uberisation » des deepfakes ?

Or, en six ans, les technologies disponibles pour manipuler des images et du son ont fait des progrès et sont devenues beaucoup plus simple d’accès. En 2022, avec l’arrivée de Dall-E, Midjourney et de quantité d’autres modèles d’intelligence artificielle générative accessible au grand public, la facilité de production de faux contenus s’est démultipliée. Et, avec elle, les guides pour expliquer comment ça marche.

Effet parallèle : la création de contenus sexuels non consentis a aussi explosé, à un point « bien pire que ce qui a été couvert jusque-là », selon une enquête du média 404. L'article rapporte par exemple près de 65 000 téléchargements pour un outil uniquement dédié à créer des images de femmes aspergées de sperme. Autrice de Féminisme et réseaux sociaux, Elvire Duvelle-Charles considère justement que les deepfakes pornographiques s’inscrivent dans la continuité d’autres pratiques masturbatoires qui ont éclos à l’ère d’internet – ce que tendrait aussi à confirmer un témoignage comme celui de la streameuse Maghla.

Les outils destinés à aider à la création de contenu avec Stable Diffusion ou d’autres modèles sont légion. Tous, ou presque, disposent d’une catégorie classée #NSFW où les utilisateurs, comme ailleurs, partagent leurs productions et des conseils pour réaliser de meilleurs prompts.

Et ces outils visent le grand public. Pour preuve : sur les plateformes de Meta, en mars, des centaines de publicités ont été diffusées auprès des internautes pour vanter les services d'une application avec laquelle réaliser facilement des deepfakes. Le visage de l’actrice Emma Watson était utilisé à l’envi dans les publicités, de préférence pour la placer dans des positions évoquant le début d’un film pornographique, et ce, malgré l’interdiction de contenus « pour adultes » dans les conditions d’utilisation de Meta. Auprès de NBC et d’Insider, l’entreprise a expliqué avoir finalement supprimé les publicités. L'application, elle, a été supprimée de plusieurs app stores.

Auprès de 404, l’expert de l’analyse d’images numériques Hany Farid déclare que la menace a évolué : si, jusque-là, elle concernait principalement les personnes ayant une large surface numérique, « elle concerne désormais n’importe qui, même avec une empreinte numérique modeste ». Par ailleurs, note Ketsia Mutombo, là où, pour les « comptes fisha » et autres diffusions non consenties d’images à caractère sexuel, « il fallait généralement la complicité d’un partenaire ou d’un ex violent, avec les deepfakes, n’importe quel anonyme peut produire le contenu ».

« Les deepfakes posent la question du consentement, hors ligne comme en ligne, déclare Elvire Duvelle-Charles. Il y a une forme de déshumanisation des célébrités ou des personnes dont les images sont utilisées, et je me demande franchement si les auteurs ont conscience de l’effet que ça produit sur les concernées. »

Multiples conséquences pour les personnes visées

Au niveau le plus intime, certaines victimes ressentent la manipulation numérique de leur image comme une réelle violation. Auprès de Marie-Claire, l’actrice Enora Malagré, qui a découvert le concept de deepfake pornographique en même temps qu’elle apprenait en être victime, déclare ainsi : « J’ai fondu en larmes et j’ai ressenti une nausée physique, l’envie de vomir. » Poète britannique victime de ce type de diffusion, Helen Mort expliquait à la BBC « faire encore des cauchemars » au sujet des images plus d’un an après les avoir découvertes.

Dans le cas de la diffusion non consentie d’images réelles à caractère sexuel (souvent réduite à la notion de « revenge porn »), une étude de l’Université d’Exeter a démontré que dans l’immense majorité des cas, les agressions contre les femmes consistent uniquement à diffuser leur(s) image(s) sexualisée(s). Auprès de Slate, l’avocate et cofondatrice de l’association Stop Fisha Rachel-Flore Pardo notait : « On a l'impression que diffuser l'image des femmes, c'est déjà une victoire parce que ça les humilie. » Pour les hommes, selon la même étude, dans neuf cas sur dix, la diffusion vise à les faire chanter pour obtenir quelque chose d’autres – argent, avantage politique, etc (on parle de sextorsion). Le même phénomène d’humiliation pure et simple semble se jouer dans le cas des hypertrucages qui visent des femmes.

Outre les personnes dont les visages sont détournés, les actrices pornographiques sont, elles aussi, des victimes des deepfakes. Elles sont privées du consentement de voir les images de leur corps réutilisées dans un montage qui représente une autre femme. Et n'ont évidemment pas plus leur mot à dire sur l'usage de leurs contenus pour entraîner des versions #NSFW de divers modèles d'IA que le reste des internautes ne l'a pour les versions génériques.

Par ailleurs, la diffusion de deepfakes peut avoir un effet sur la présence des personnes visées dans l’espace public. Au Rwanda, la femme politique Diane Rwigara estime par exemple que les fausses images sexuelles la représentant ont servi à la discréditer lors de la course présidentielle de 2017.

Dans des communautés sujettes à plusieurs types de discrimination, « quand ça vise des femmes musulmanes, par exemple, le racisme agit comme facteur aggravant », indique Ketsia Mutombo, aussi coautrice de l’essai Politiser les cyberviolences. « Si d’habitude, elles portent le voile, et qu’elles se retrouvent dénudées de cette manière, elles reçoivent très peu de soutien. Des hommes viennent dire qu’elles n’auraient pas dû poster de photo pour commencer. » 

Sauf que c’est méconnaître la réalité des usages numériques et la facilité avec laquelle une photo ou une vidéo peut désormais être détournée, pointe l’experte. « Ça pose la question de l’effacement visuel des femmes et des filles de l’espace numérique. »

Impossible sécurité numérique

Au quotidien, l’activiste explique rencontrer un nombre croissant de jeunes filles réticentes à poster des images d’elles en ligne, ou de manière « floutée, anonymisée. Ça n’est pas tant lié à une prise de conscience sur les questions de protection de la vie privée qu’à une logique de défense face aux pratiques misogynes. »

Quand on interroge Esther, de l’association Echap, sur des pistes de solutions, celle-ci avance un discours similaire : « On pourrait sensibiliser plus largement aux questions d’hygiène numérique, mais c’est facile à dire quand on sait que quelques photos suffisent à détourner l’image. » Point de vue technique, sa collègue Camilla déclare « tout à fait possible de créer des classifieurs qui reconnaissent les contenus en question, pour aider à les bannir ».

Une plateforme comme Mage Space explique par exemple utiliser des scans automatiques et un système de modération appelé « GIGACOP » pour trouver et bannir les deepfakes non consensuels. Malgré cela, le média 404 rapporte avoir trouvé sans peine des images visiblement créées sans l’accord des personnes concernées.

Évolution des cadres légaux

Une autre piste de solution, évoquée par plusieurs de nos interlocutrices, est celle de la loi. Dans Combattre le cybersexisme, Rachel-Flore Prado notait que le deepfake « peut-être constitutif du délit d’usurpation d’identité », passible, selon l’article 226-4-1 du Code pénal, d’un an d’emprisonnement et 15 000 euros d’amende. Lorsqu’il est commis par un conjoint, concubin ou partenaire de PACS, ce type d’acte est passible d’une peine deux fois plus lourde.

Surtout, la loi « sécuriser et réguler le numérique » pourrait poser un cadre spécifique à la problématique. En effet, début juillet, le Sénat a adopté diverses mesures ainsi résumées sur X (anciennement Twitter) par le ministre délégué chargé du Numérique Jean-Noël Barrot :



« Manipulation de l'information et de l'opinion publique : publier un deepfake représentant les paroles ou l'image d'une personne sans son consentement, et sans qu'il soit clairement établi qu'il s'agit d'un faux sera puni jusqu'à 2 ans de prison et 45 000€ d’amende. »



« Les deepfakes pornographiques : ce sont presque toujours des femmes dont la voix, le visage ou le corps sont reproduits de manière réaliste, pour humilier, harceler, faire chanter. Publier sans consentement de telles images sera puni jusqu'à 3 ans de prison et 75 000€ d’amende. »

Mais même si le texte passe en l’état, la question de son application reviendra sur la table, comme sur les questions de violences numériques au sens large.

Réagissant à la récente (et milliardième) polémique sur l’anonymat en ligne, l’avocat Alexandre Archambault soulignait sur Bluesky que le problème n’était pas tant celui de trouver ou pas les auteurs d’agressions numériques diverses que celle « du manque de moyens accordés à la justice donc aux services enquêteurs ». Comme lui, Féministes contre le cyberharcèlement critique divers pans du projet de loi et demande des moyens pour faire appliquer les cadres déjà existants.

Chantiers de sensibilisation

Chez Echap, Esther résume les multiples enjeux : « non seulement il faut que les victimes puissent avoir accès aux preuves, mais il faut encore qu’elles accèdent à leur droit de porter plainte. Or, pour ce sujet comme pour les autres affaires de violences sexistes et sexuelles, on sait très bien que certains dépositaires de la loi découragent le dépôt de plaintes. »

Résultat des courses, pointe Ketsia Mutombo, dans une étude publiée fin 2022 par Féministes contre le cyberharcèlement sur les cyberviolences au sens large, « 61 % des personnes interrogées déclaraient considérer que porter plainte ne sert à rien ». 70 % de celles qui l’avaient fait constataient que leurs plaintes n’avaient donné lieu à aucune poursuite.

Un dernier axe de travail cité par plusieurs interviewées relève – encore – de la sensibilisation, non pas à des questions techniques, cette fois, mais à celle du consentement.

« Le consentement doit être libre, éclairé, informé, et cela ne concerne pas que les actes physiques, explique ainsi Elvire Duvelle-Charles. Quand on crée des contenus pornographiques avec le corps de quelqu’un, on est déjà dans une dimension d’actes sexuels. Or ça relève de la vie privée et de l’intégrité de la personne », que de respecter son corps. 

Écrit par Mathilde Saliou

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

L’arbre qui cache la forêt : les deepfakes de désinformation

L’IA générative : vers l’« uberisation » des deepfakes ?

Multiples conséquences pour les personnes visées

Impossible sécurité numérique

Évolution des cadres légaux

Chantiers de sensibilisation

next n'a pas de brief le week-end

Le Brief ne travaille pas le week-end.
C'est dur, mais c'est comme ça.
Allez donc dans une forêt lointaine,
Éloignez-vous de ce clavier pour une fois !

Fermer

Commentaires (42)


Comme très bien indiqué dans cet article, ce genre de montage à caractère sexuel/pornographique a toujours existé. Avant, ça se faisait avec Photoshop, maintenant avec de l’IA. Ce qui change, c’est qu’on peut faire ce genre de montage très rapidement et de manière beaucoup plus réaliste.
Maintenant, il faudrait voir comment sont diffusées ses images. Si c’est pour faire chanter une victime, le chantage laisse normalement des traces. Donc on en revient encore et toujours avec les moyens insuffisants de la justice.



En tout cas merci pour cet résumé fouillé de l’état de la situation.


Une des choses à noter c’est que c’est apparemment devenu trivial. L’article cite l’affaire en Espagne où ce sont des adolescentes qui sont victimes d’autres ado.




With the slogan “Undress anybody, undress girls for free”, the app allows users to take the clothes off from anyone who appears in their phone’s picture gallery. It costs €10 to create 25 naked images.




Je ne pense pas que ce sera quelque chose qui sera résolu uniquement par la répression, il va falloir éduquer les gens à “pourquoi c’est mal”.


Merci pour cet article, aussi instructif que glaçant.


Pour moi, le danger est réel, mais le principal problème tient à cette remarque, tirée de l’article :




demande des moyens pour faire appliquer les cadres déjà existants.




On n’a peut-être pas besoin d’une ènième loi qui se contentera de répéter ce qui existe, on a besoin d’avoir des moyens de remonter aux personnes qui font ce genre de choses, et de leur appliquer les sanctions déjà prévues par la loi.


Entièrement d’accord!
Faire de nouvelles lois pour des actes déjà punis avec le code pénal actuel… Alors que nous sommes le pays du monde avec le plus de lois, et aussi le plus de lois non appliquées en raison de leurs désuétudes.
On ne remplace pas des moyens humains par des lois que l’on n’a pas la capacité d’appliquer, des numéros verts ou des caméras.


Une image d’article réalisée par Flock ? C’est une première ou j’ai raté qqc ?
Bon, je vais lire l’article maintenant :transpi:



Edit: non c’est pas la première fois ! Mince, maintenant je vais devoir les chercher :D


Excellent article !
Je ne peux qu’être d’accord avec notamment cette conclusion :
le problème n’était pas tant celui de trouver ou pas les auteurs d’agressions numériques diverses que celle « du manque de moyens accordés à la justice donc aux services enquêteurs ». Comme lui, Féministes contre le cyberharcèlement critique divers pans du projet de loi et demande des moyens pour faire appliquer les cadres déjà existants.


C’est bien de mettre l’accent sur les femmes, mais il ne faut pas minimiser l’impact que ça a sur les hommes. Il suffit de demander à Benjamin Griveaux s’il pense que pour les hommes, la diffusion d’images pornographiques les concernant n’a aucun impact.


Tout à fait. Cela dit, pour M. Griveaux, ce n’était pas un deepfake.


À mon humble avis, le jour où on prendra en considération l’ampleur du phénomène touchant les femmes, on aura pris en compte de facto le phénomène concernant les hommes.



Par exemple, un phénomène qui touche les hommes et dont on parle de plus en plus : le catfishing



https://fr.wikipedia.org/wiki/Catfishing :




Un catfish (litt. poisson-chat) ou catfisher est une personne qui se fait passer pour quelqu’un d’autre, utilisant de fausses photos de profil, de faux noms et se faisant souvent passer pour une personne d’un autre sexe pour extorquer de l’argent à ses cibles



Franchement, on met ma tête sur un porno, j’en demande une copie FHD (Avis personnel). ( En tant qu’homme, pas trop gênant, mais doit être horrible pour la gente féminine ). :transpi: :craint:


ces progrès technologiques apportent aussi leurs lots d’usages négatifs



comme d’hab., quoi ! :fumer:
(à chaque fois les progrès sont détournés par ‘des-p’tits-malins’)


Merci pour l’article. C’est absolument terrifiant de voir ça, on aurait pu penser qu’il y aurait eu un minimum de prise de conscience, mais non, toujours et encore les mêmes choses avec des moyens de plus en plus puissants, et donc de plus en plus ignoble. C’est pas gagné… 😞



(quote:2154265:Jean de Tolbiac)
Tout à fait. Cela dit, pour M. Griveaux, ce n’était pas un deepfake.




(étant vendredi je peux me permettre :)
ce n’était pas un dickfake non plus.
déso. :D


Quelqu’un calé en droit pourrait m’éclairer là dessus :
« Manipulation de l’information et de l’opinion publique : publier un deepfake représentant les paroles ou l’image d’une personne sans son consentement, et sans qu’il soit clairement établi qu’il s’agit d’un faux sera puni jusqu’à 2 ans de prison et 45 000€ d’amende. »




Le “et” est pas impératif, à partir du moment où il n’y a pas de consentement, ça deviendrait illégale que l’image soit signalé comme fausse ou non ? Si ce n’est pas le cas il me semble y avoir un sérieux trou dans le raquette.


Le « et » n’est pas facultatif.
Si le diffuseur indique que c’est un deepfake, alors pas de souci pour le faire sans consentement (en tout cas ça ne sera pas de la « manipulation de l’information et de l’opinion publique »).


1- je trouve l’IA pas si Intelligente dans ce cas. Ça doit bien pouvoir ce mettre en place des limitations à ce niveau.



A quand des fakeporn avec les patrons de l’IA?



2- A quand une mise a jour de l’intelligence humaine? Parce que franchement c’est du grand n’importe quoi …


Non, car par exemple, avec Stable Diffusion, tout est en local, je ne vois pas comment tu pourrais mettre des limitations.



Je pense que des limitations existent déjà en revanche pour les outils comme Dall-E, Midjourney etc…



  • A quand des ‘Fakeporn’ avec les patrons de l’IA. ?



l’arroseur, arrosé ! :francais:



(reply:2154271:Ami-Kuns)




C’est parce que tu penses que l’on va mettre ton visage sur la personne active. Rien n’empêche n’ont plus de mettre ses visages sur des victimes qui subissent des actes dégradants.



Ce n’est plus du tout la même chose là.



Car nous sommes dans une société qui, même si elle tient des discours progressistes, estime toujours honteux qu’une femme ait une sexualité





Ces génies ont donc tous été conçus par fécondation in vitro. Bien bien.



:facepalm:



(reply:2154271:Ami-Kuns)




Si j’ai bien compris l’article la différence Homme / Femme viendrait de la vue de la société sur le sujet




c’est une pratique qui fait partie du slut-shaming, du fait de renvoyer très violemment une femme à sa sexualité. Car nous sommes dans une société qui, même si elle tient des discours progressistes, estime toujours honteux qu’une femme ait une sexualité




Comme dit plus haut, ta réaction serait elle la même si c’était une fausse vidéo de toi en train de te faire sodomiser ?


Étant oblige de subir une coloscopie annuel pourrait peut-être apprécier. L’avenir n’est pas fixe.




Ces génies ont donc tous été conçus par fécondation in vitro. Bien bien.



:facepalm:




C’est là où je me dis qu’un des autres axes d’amélioration de nos sociétés (qui n’arrivera pas demain), c’est notre rapport à la sexualité. Aussi longtemps qu’elle sera considérée comme taboue et honteuse, elle pourra être une source d’intimidation.



Peu importe le moyen avec lequel la source d’intimidation aura été produite.



C’est aussi la raison pour laquelle la vie privée est une chose importante à protéger : se protéger des jugements idiots qui peuvent nuire.


C’est un fait que le désir féminin est tabou. Pourtant on le voit partout, dans la pub commerciale… et même dans les magazines féminins où on voit l’injonction d’avoir une sexualité active et épanouie.



Il y avait une association féministe qui était très active il y a qques années, qui s’appelait «Ni putes, ni soumises» : la vision masculine de la femme soit active sexuellement, soit maman au foyer.


la vie privée est une chose importante à protéger



à l’heure des RS., c’est pas gagné !
là..où tt.-le-monde raconte sa vie en détails !



≠ partage, tu comprends ? :non:


+1
A une époque bien avant les deepfake et autres, dans la boite où je travaillais une femme vient postuler à une offre d’emploi.



CV normal mais le recruteur en faisant une recherche google avec son nom+prénom tombe sur des sites de porn. Bien entendu elle était pas dedans mais son ex l’avait référencé là-dessus.



Bref pas besoin d’images, de montages ou de vidéos, déja à l’époque le simple fait après une recherche d’être redirigé sur des sites de porn suffisait pour te pourrir la vie.
D’ailleurs elle n’a pas été prise à cause de ça.


refuznik

+1
A une époque bien avant les deepfake et autres, dans la boite où je travaillais une femme vient postuler à une offre d’emploi.



CV normal mais le recruteur en faisant une recherche google avec son nom+prénom tombe sur des sites de porn. Bien entendu elle était pas dedans mais son ex l’avait référencé là-dessus.



Bref pas besoin d’images, de montages ou de vidéos, déja à l’époque le simple fait après une recherche d’être redirigé sur des sites de porn suffisait pour te pourrir la vie.
D’ailleurs elle n’a pas été prise à cause de ça.


C’est quand même hallucinant de voir qu’on puisse être encore aussi arriéré.



Mais bon, je me dis que les “deepfakes” et compagnie seront peut-être un déclencheur pour arrêter de se focaliser sur ce genre d’idiotie. Les images dans nos sociétés sont aux 34 (à la louche) des faux : les “idéaux” de beauté, la fiction, les médias sociaux qui ne sont que de la mise en scène, le porno aussi, la télé réalité est plus scénarisée qu’un film, le “storytelling” qui ne s’intéresse qu’à ce qui l’arrange, etc.



Peut-être qu’à un moment on finira par prendre conscience qu’à peu près tout ce qui nous entoure est artificiel et ne plus leur accorder une telle importance.



Mais au fond de moi, je n’y crois pas.


SebGF

C’est quand même hallucinant de voir qu’on puisse être encore aussi arriéré.



Mais bon, je me dis que les “deepfakes” et compagnie seront peut-être un déclencheur pour arrêter de se focaliser sur ce genre d’idiotie. Les images dans nos sociétés sont aux 34 (à la louche) des faux : les “idéaux” de beauté, la fiction, les médias sociaux qui ne sont que de la mise en scène, le porno aussi, la télé réalité est plus scénarisée qu’un film, le “storytelling” qui ne s’intéresse qu’à ce qui l’arrange, etc.



Peut-être qu’à un moment on finira par prendre conscience qu’à peu près tout ce qui nous entoure est artificiel et ne plus leur accorder une telle importance.



Mais au fond de moi, je n’y crois pas.


qu’à peu près tout ce qui nous entoure est artificiel et
ne plus leur accorder une telle importance.



on y-arrivera (à force de faux), mais ce sera très très lent !
dans …. ans !




  • c’est ce qu’aura réussie à faire ‘Internet’
    qui a ses BONS côtés (c’est indéniable), mais ça c’est le revers de la médaille
    son côté sombre !!! :mad:



eglyn a dit:


Je pense que des limitations existent déjà en revanche pour les outils comme Dall-E, Midjourney etc…




Oui, il y a des filtres. Même GitHub Copilot a un proxy qui filtre les requêtes avant de les soumettre au modèle et analyse le retour pour réduire le risque de produire du contenu dangereux.



Mais même sur StableDiffusion la plupart des fronts ont des options pour bloquer le NSFW. Mais comme tu dis, impossible de contrôler en local.


et puis y a une chaine twitch de “Clad3815” IA de Mélenchon et Macron qui répondent au chat H24”



merlin171 a dit:


1- je trouve l’IA pas si Intelligente dans ce cas. Ça doit bien pouvoir ce mettre en place des limitations à ce niveau.



A quand des fakeporn avec les patrons de l’IA?



2- A quand une mise a jour de l’intelligence humaine? Parce que franchement c’est du grand n’importe quoi …




Comme dit eglyn c’est utilisable en local, et tu peux sans soucis te créer un système spécialement fait pour faire un gros service en ligne que pour du NSFW.
Le soucis n’est pas l’outil ni les lois, mais de faire respecter celles existantes et de poursuivre réellement les auteurs.



Car aujourd’hui c’est sur le thème du NSFW mais quid dans quelques années avec d’autres situations. Le but est vraiment de pouvoir condamner les personnes utilisant un outil pour jeter un discrédit ou tromper une personne, quelque soit la raison. Car techniquement, ça fait des années que des personnes font des fakes de nudes, je pense depuis la création de paint. Et pourtant paint n’est pas interdit.



misocard a dit:


Une des choses à noter c’est que c’est apparemment devenu trivial. L’article cite l’affaire en Espagne où ce sont des adolescentes qui sont victimes d’autres ado.



Je ne pense pas que ce sera quelque chose qui sera résolu uniquement par la répression, il va falloir éduquer les gens à “pourquoi c’est mal”.




Merci de ce commentaire.
Car je pense exactement la même chose. Augmenter le nombre d’enquêteur n’aidera en rien l’explosion, et à part arriver à une situation où la moitié de la population travaillera à mettre en taule l’autre moitier, je vois pas trop d’issue.
A part l’éducation. Qui commence déjà par le simple “ne fait pas aux autre ce que tu ne veux pas qu’ils te fassent”, qui est valable pour le revenge porn, le harcèlement, le deep fake, …



L’autre solution c’est de diffuser tellement de deepfake de tout et n’importe quoi que plus rien n’aura de sens ni de crédibilité. Et à mon sens c’est presque possible de lancer des instances d’IA en boucle écumer les sites d’info & pornhub , créer des deepfake avec les 2, puis passer son temps à inonder insta, tiktop meta et autres , sans aucun filtre ni logique ni rien.



Car à un moment, la répression a ses limites aussi.
Si tout le monde se mettait à prendre des couteaux pour tuer tous les autres, finalement, on dirais quoi ? qu’on va mettre des flics dans chaque foyers ?


on commence déjà par le simple :
“ne fait pas aux autre ce que tu ne veux pas qu’ils te fassent”



qu’est-ce que tu veux que je te dise (soupir) ?
“MÊME ça..c’est déjà TROP, pourtant c’est pas trop difficile à comprendre, non” ? :fumer:


Je ne comprends pas vos 2 commentaires. Vous êtes en train de dire que la solution serait de considérer toute image comme du faux ?



Si oui, pas la peine de considérer fiables des sources, des images, des textes, etc. C’est d’ailleurs comme ça que fonctionne le complotisme (tout est manipulation).



Moi je dirais le contraire : sélectionner, préserver des images qu’on considère comme fiables, punir les manipulations, développer la déontologie, éduquer aux images. On a toujours fait comme ça, quelque soit le support de communication.



(quote:2154551:consommateurnumérique)
Je ne comprends pas vos 2 commentaires. Vous êtes en train de dire que la solution serait de considérer toute image comme du faux ?




Pas de manière aussi extrême, mais plutôt de s’éduquer à l’image comme tu le dis. Savoir développer son sens critique et apprendre à prendre du recul et étudier le contexte d’un document avant de s’enflammer dessus. En gros, dès qu’une image fait “le buzz”, ça doit déclencher une sonnette d’alarme : pourquoi elle le fait, pourquoi déclenche-t-elle une telle émotion, et dans quel but celle-ci a-t-elle été diffusée, etc.



Car c’est là une bonne partie de la source des “fake news” : une image (animée ou non) sortie de son contexte (plus vieille que les “faits” qu’elle accompagne, détournement, montage, habile recadrage, etc) et accompagnée d’une interprétation visant à tromper pour déclencher une réaction émotionnelle. Et pour le coup, les images fabriquées de toute pièce utilisées à des fins de désinformation ça ne date pas de l’IA générative : c’est arrivé avec des extraits de fiction comme des films ou séries télévisées.


Ça existe le même genre de trucs qui viserait les hommes (puisque d’après l’article la majorité/totalité des deepfakes pornos concernent des femmes) ?


Ce n’est pas un deepfake mais il y a l’affaire de la sextape et du chantage présumé du maire de St Étienne sur son 1er adjoint (catholique engagé).





pierreonthenet a dit:


Ça existe le même genre de trucs qui viserait les hommes (puisque d’après l’article la majorité/totalité des deepfakes pornos concernent des femmes) ?




Oui, des faux “nudes” de célébrités masculines existent aussi. Parfois sous forme de fantasme homosexuel même.



(reply:2154578:consommateurnumérique)




Merci, mais ce qui m’intéresse ici est de savoir si les hommes pourraient eux aussi être touchés par ce type de deepfake aujourd’hui.



OK, mais est-ce issu de deepfakes, et surtout ces outils sont-ils aussi accessibles que ceux “féminins” ?


potn


(reply:2154578:consommateurnumérique)




Merci, mais ce qui m’intéresse ici est de savoir si les hommes pourraient eux aussi être touchés par ce type de deepfake aujourd’hui.



OK, mais est-ce issu de deepfakes, et surtout ces outils sont-ils aussi accessibles que ceux “féminins” ?


J’ai pas la prétention d’avoir fait une étude comparative, mais des quelques éléments que j’ai pu voir c’est comme pour le féminin : ça va du montage grossier à l’intégration très propre, probablement issue de l’IA générative aussi.



Sur Civitai il y a beaucoup de LoRA entraînés avec des célébrités masculines au même titre que les célébrités féminines. Et comme il y a aussi pas mal de modèles capables de produire du NSFW photo-réaliste assistés de quelques LoRA pour les éléments plus spécialisés, et pour en avoir vu sur la plateforme (car je ne filtre pas le contenu adulte dessus, il ne me fait pas peur), je peux confirmer sur ce point qu’il y a de la production de fausses images de nus, voire à caractère pornographique, pour des hommes aussi.


SebGF

J’ai pas la prétention d’avoir fait une étude comparative, mais des quelques éléments que j’ai pu voir c’est comme pour le féminin : ça va du montage grossier à l’intégration très propre, probablement issue de l’IA générative aussi.



Sur Civitai il y a beaucoup de LoRA entraînés avec des célébrités masculines au même titre que les célébrités féminines. Et comme il y a aussi pas mal de modèles capables de produire du NSFW photo-réaliste assistés de quelques LoRA pour les éléments plus spécialisés, et pour en avoir vu sur la plateforme (car je ne filtre pas le contenu adulte dessus, il ne me fait pas peur), je peux confirmer sur ce point qu’il y a de la production de fausses images de nus, voire à caractère pornographique, pour des hommes aussi.


Merci ! :inpactitude: