[MàJ] Glaze  : la solution pour contrer MidJourney et autres IA imitatrices de style d'images est disponible

[MàJ] Glaze : la solution pour contrer MidJourney et autres IA imitatrices de style d’images est disponible

faussAIre

Avatar de l'auteur
Martin Clavey

Publié dans

Logiciel

16/03/2023 5 minutes
23

[MàJ] Glaze  : la solution pour contrer MidJourney et autres IA imitatrices de style d'images est disponible

Des chercheurs de l'Université de Chicago ont créé un outil permettant d'induire en erreur les intelligences artificielles comme MidJourney qui imitent le style des artistes après avoir été entrainées sur leurs images.

Depuis l'arrivée des générateurs d'images basés sur l'intelligence artificielle comme DALL·E, MidJourney et Stable Diffusion, de nombreux artistes s'inquiètent de leur capacité à imiter leurs styles, permettant à d'autres de se les approprier en tapant un simple descriptif, comme « une peinture dans le style de Greg Rutkowski ».

Cette utilisation d'images glanées massivement sur le web pose aussi des questions juridiques vertigineuses. Getty Images est d'ailleurs allée devant la cour de Justice de Londres pour défendre ses droits d'auteurs face à Stability AI, l'entreprise éditrice de Stable Diffusion.

Si Getty Images peut se permettre d'aller en justice, il est plus difficile pour des artistes seuls de s'imaginer se lancer dans un procès dont l'issue est actuellement incertaine. Selon Le New York Times, trois artistes ont quand même attaqué [PDF] Stability AI, Midjourney et Deviant Art, le mois dernier.

Pour permettre à ces artistes d'éviter de retrouver leur style dans la panoplie de ses outils à l'efficacité impressionnante – même si Flock a dû revoir un peu ses attentes en testant MidJourney – des chercheurs et chercheuses de l'Université de Chicago ont créé Glaze, un logiciel de « masques de style », dont ils expliquent le fonctionnement dans un article mis en ligne sur l'archive ouverte arXiv [PDF] (n'ayant pas encore passé la relecture par les pairs).

Masquer le style à l'IA et la pousser à imiter Picasso

Ben Y. Zhao et ses collègues se sont penchés sur la création de cet outil en collaborant avec plus de 1000 artistes, dont les trois artistes, Sarah Andersen, Kelly McKernan et Karla Ortiz qui ont porté plainte contre les éditeurs d'IA de ce type.

Leur idée est d'appliquer un filtre sur l'image pour créer suffisamment de bruit dans les pixels et que l'intelligence artificielle n'arrive pas à reconnaître un style particulier, et ce, en ne la dégradant pas trop pour que l'humain puisse profiter de la qualité de la création de l'auteur, et que celui-ci soit satisfait de son œuvre.

Mais ils ont aussi ajouté autre chose pour perturber un peu plus ces algorithmes transformant un texte en une image.  « Lorsqu'on demande de générer des œuvres d'art dans le style de la victime, le modèle ne parvient pas à l'imiter et produit des œuvres d'art dans un style reconnaissable différent », expliquent les chercheurs dans leur article. Glaze empêche non seulement de copier le style d'un auteur, mais pousse aussi ces algorithmes à appliquer le style d'auteurs universellement connus comme Vincent Van Gogh, Norman Bluhm ou Pablo Picasso.

Glaze

Sur Twitter, la chercheuse en intelligence artificielle Margaret Mitchell compare ce système aux vêtements qui permettent de passer outre les caméras équipées de système d'intelligence. Et effectivement, leur idée ne vient pas de nulle part. En fait, cette équipe l'avait déjà appliquée [PDF] en 2020 à la reconnaissance faciale, avec leur système nommé Fawks. Glaze est, de fait, une adaptation de cet algorithme, car Fawks ne donnait pas tout de suite satisfaction.

Pour évaluer l'efficacité de Glaze, les chercheurs ont tenu à prendre en compte les avis des artistes pour être sûrs de protéger leurs styles sans détériorer leurs œuvres. Résultat, la plupart des artistes (93 %) qui ont participé à l'étude pensent que Glaze protège bien leur style des « attaques de mimétisme de style par l'IA » et 92 % que le bruit introduit est assez faible pour ne pas troubler la qualité de leur art.

Glaze devrait être disponible gratuitement d'ici à quelques semaines en versions Mac et Windows, selon le site créé à cet effet. Les chercheurs s'y engagent à ne vendre cet outil de protection en aucun cas, expliquant qu'il a été créé dans un cadre de recherche et seulement pour protéger les artistes.

Les auteurs du logiciel ne vantent pas Glaze comme la solution ultime à ce problème et expliquent même que « malheureusement, Glaze n'est pas une solution permanente contre le mimétisme de l'IA. L'IA évolue rapidement et les systèmes comme Glaze doivent relever le défi inhérent d'être à l'épreuve du futur ».

Ils ajoutent que « Glaze n'est pas une panacée, mais un premier pas nécessaire vers des outils de protection centrés sur l'artiste pour résister à l'imitation de l'IA. Nous espérons que Glaze et les projets qui suivront offriront une certaine protection aux artistes en attendant que des efforts à plus long terme (juridiques, réglementaires) soient déployés ».

Et, en effet, on peut craindre que les éditeurs de solution d'intelligence artificielle imitant le style des artistes et les artistes eux-mêmes entrent dans une course à l'armement sans fin.

23

Écrit par Martin Clavey

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Masquer le style à l'IA et la pousser à imiter Picasso

Commentaires (23)


Oui c’est un peut vain tout de même. Ils vont aussi installer ce genre de logiciels dans le cerveau des autres artistes ?


Oui, ça fait un peu de la peine d’ailleurs je trouve…


En dehors de quelques plagiaires, les graphistes mélangent les styles pour en créer un qui leur est propre avec un apprentissage tout au long de la vie.



Le problème de ces IA c’est qu’elles entre en concurrence directe avec les graphistes qu’elles ont plagiés.
https://actualitte.com/article/109362/interviews/l-intelligence-artificielle-represente-de-nouvelles-facons-de-creer



Sinon, pour Deviant Art, autoriser les IA à exploiter les images est de l’opt-in.


Ça reste le jeu du chat et de la souris, mais c’est pareil dans pleins de domaines, comme la défense et surtout la cyber (sécurité / défense / etc.)



Un premier pas est intéressant, voyons surtout combien de temps ça va résister !


Ca reste impressionnant, dans le sens où là une IA est censée “penser” comme nous, ellz ne parvienne pas à reproduire une œuvre alors qu’on ne voit pas spécialement de différences.


Ça marche justement parce que les générateurs d’images par diffusion (qui sont ciblés par cette contre-mesure) ne “pensent” pas du tout comme nous : ces réseaux sont entraînés à débruiter des images progressivement bruitées, ce qui leur permet après de générer des images sur commande de manière itérative à partir de bruit.
Il existe peut-être des artistes un peu farfelus qui travaillent comme ça mais ce n’est clairement pas le cas de la généralité des êtres humains :mdr:


Ça me rappelle les techniques pour faire croire à une voiture autonome qu’un panneau Stop est une limitation de vitesse :
https://spectrum.ieee.org/slight-street-sign-modifications-can-fool-machine-learning-algorithms


Vivons heureux, vivons bariolés :yes:


de nombreux artistes s’inquiètent de leur capacité à imiter leurs styles
permettant à d’autres de se les approprier en tapant un simple descriptif
comme « une peinture dans le style de Greg Rutkowski ».



“on n’a pas fini d’être em…par cette AI.” !!!
à chaque fois ‘on découvre’ de nouvelles applications, et QUE ça pourrait, très bien, s’appliquer
à…….:reflechis:


Ça va être intéressant le futur si les IA réussissent vraiment à remplacer les humains (note j’y crois pas trop). On pourra les mettres à la poubelle. Plus sérieusement je m’interroge sur l’utilité qu’on veut de ces IA, l’art c’est pas franchement le domaine ou l’on va “libérer” le poids du travail des hommes.


ce qui me fait peur c’est qu’on n’a pas fini d’en faire le tour de ces ‘AI.’
on en est, encore, qu’aux balbutiements !
on ‘découvre’* à chaque fois leurs étendues (sans fin)




  • surpris :eeek2:


vizir67

ce qui me fait peur c’est qu’on n’a pas fini d’en faire le tour de ces ‘AI.’
on en est, encore, qu’aux balbutiements !
on ‘découvre’* à chaque fois leurs étendues (sans fin)




  • surpris :eeek2:


Oui après, on est pas à l’ abris d’être étonné, j’ai pas l’impression qu’il à vraiment eu de découvertes disruptives sur la question depuis un moment. Donc j’ai surtout l’impression qu’on va explorer en détail une bonne partie des possibilités actuelles et puis ensuite il est pas impossible que ça stagne sérieusement.



La question importante sur ces IA c’est de savoir si on va trouver véritablement des usages qui en justifie les moyens. Déjà dans les années 60, il y à eu le 1er système expert (Dendral) ça à été utile mais pour autant ce type d’outil est rester confidentiel.



J’imagine l’usage de ces techno comme une potentielle aide à la création sur des éléments trop complexe pour être géré “à la main”, à l’image de l’usage de la photogrammétrie dans les jeux ou le cinéma, mais je vois mal cette techno utilisé pour des choses trop simple (remplacé un développement simple par un truc généré me paraît douteux vu le rapport temps passé/risque).


Un des points qui me fait “peur” c’est la quantité de données que ces IA peuvent générer. Des données qu’il faudra stocker, traiter, analyser (comparer) ,…. Pour “rien”.
A une époque où l’on sais que l’énergie et les matières premières (dont les métaux) sont de + en + rare. Ca me fait un peu penser aux bitcoins ce genre de trucs….


Pourquoi stocker des images si tu peux en re-générer à la demande ?
La consommation d’énergie, elle est surtout concentrée sur la phase d’entraînement. A l’exploitation, il n’y a plus de gros besoin…


yannickta

Pourquoi stocker des images si tu peux en re-générer à la demande ?
La consommation d’énergie, elle est surtout concentrée sur la phase d’entraînement. A l’exploitation, il n’y a plus de gros besoin…

La reproductibilité est-elle garantie ? J’ai rarement eu plusieurs fois l’exact même résultat sur DALL-E par exemple.


SebGF

La reproductibilité est-elle garantie ? J’ai rarement eu plusieurs fois l’exact même résultat sur DALL-E par exemple.


Dans le cadre the stability.ai, j’ai vu que c’était possible via leur API.
cf. https://platform.stability.ai/docs/features/text-to-image?tab=



L’étape 4 de l’exemple python montre une graine qui peut être fixée pour la reproductibilité (et la graine est obtenue dans le résultat quand on ne la donne pas en entrée).



Apparemment, il y a des limitations avec certains paramètres dans le cas présent mais au moins on sait que c’est faisable (pas vérifié les autres mais il est probable qu’il y ait des options similaires).


Triton

Dans le cadre the stability.ai, j’ai vu que c’était possible via leur API.
cf. https://platform.stability.ai/docs/features/text-to-image?tab=



L’étape 4 de l’exemple python montre une graine qui peut être fixée pour la reproductibilité (et la graine est obtenue dans le résultat quand on ne la donne pas en entrée).



Apparemment, il y a des limitations avec certains paramètres dans le cas présent mais au moins on sait que c’est faisable (pas vérifié les autres mais il est probable qu’il y ait des options similaires).


Merci pour l’info :)


Perso, je trouve que Glaze a plus de sens artistique que Monet (dans l’exemple illustré par l’article, avec p=0,1.


Pas d’article sur GPT-4 :craint:


J’ai lu je ne sais plus ou que glaze avais mis une licence propriétaire alors qu’ils utilisent des licences libres SANS les mentionner …


Pour Linux, je viens de tester avec Bottles (https://usebottles.com/) et malgré des erreurs au lancement, cela fonctionne sans problème


C’est dommage, si on s’en apercevait pas bah c’était pas grave. C’est dommage. Plutôt que d’attaquer les télécommandes avec les marques des services de streaming attaquons ceci. Pouvu que les IA arrive à être plus fort que ceci.


Excellent le sous-titre…