Quand Midjourney n'arrive pas à représenter un médecin noir soignant des enfants blancs

Quand Midjourney n’arrive pas à représenter un médecin noir soignant des enfants blancs

AI French doctors

Avatar de l'auteur
Martin Clavey

Publié dans

Société numérique

27/10/2023 6 minutes
54

Quand Midjourney n'arrive pas à représenter un médecin noir soignant des enfants blancs

Des chercheurs en bioéthique ont essayé de générer via Midjourney des photos de médecins noirs soignant des enfants blancs pauvres. Spoiler : c'est quasiment impossible, sauf à renforcer un autre stéréotype, celui du guérisseur traditionnel africain.

Depuis l'avènement des grands modèles de langage et des IA génératives, de nombreux journalistes, chercheurs et chercheuses ont soulevé les problèmes de biais que peuvent reproduire ces systèmes d'intelligences artificielles.

Dans le même temps, des études sur l'utilisation d'images dans l'illustration de la santé mondiale (notamment celle-ci) ont montré que les principaux acteurs qui définissent les politiques et stratégies de ce milieu perpétuent très souvent les stéréotypes, notamment celle du médecin « sauveur » blanc soignant des enfants de couleur et vulnérables.

Curieux de voir comment un outil d'IA générative comme Midjourney pouvait être utilisé pour créer ce genre d'images, les trois sociologues de la santé et spécialistes en bioéthique Arsenii Alenichev, Patricia Kingori et Koen Peeters Grietens ont tenté de générer des images en inversant le stéréotype. Ils ont publié leurs résultats dans la revue The Lancet Global Health ce mois-ci. Spoiler : ça ne s'est pas passé comme prévu.

Des enfants blancs et pauvres et des médecins noirs africains, oui...

Les trois chercheurs ont utilisé la version 5.1 du bot de Midjourney (sortie en mai dernier) pour générer leurs illustrations autour de la santé mondiale.

En tapant le prompt « un groupe d'enfants blancs malades et pauvres, dans le style du photojournalisme » (en anglais), ils ont bien obtenu des images de groupes d'enfants blancs posant, de façon un peu grégaire, les visages tristes et les traits tirés habillés de fringues datant d'un autre siècle comme sur les exemples ci-dessous :

Midjourney médecins noirs biais

Quand ils ont demandé à Midjourney de générer des images d' « un groupe de médecins noirs africains dans le style du photojournalisme » (en anglais), le bot leur a bien renvoyé des images de groupes de médecins noirs, pour la plupart en blouses blanches, souvent des hommes mais aussi quelques femmes :

Midjourney médecins noirs biais

... des médecins noirs soignant des enfants blancs, non

Par contre, quand ils ont essayé de fusionner ces deux prompts pour demander à Midjourney de générer des médecins africains noirs soignant des enfants blancs, « dans les plus de 300 images générées, les bénéficiaires des soins étaient, de manière choquante, toujours représentés en tant que noirs ».

Par exemple, au prompt « des médecins africains administrent des vaccins à des enfants blancs pauvres dans le style du photojournalisme » (en anglais, toujours), Midjourney a répondu, avec ces images de médecins noirs en blouses modernes mais soignant des enfants noirs.

Midjourney médecins noirs biais

Occasionnellement, l'intelligence artificielle proposait même des images du fameux médecin « sauveur » blanc entouré d'enfants noirs comme dans l'image ci-dessous.

Midjourney médecins noirs biais

De la même façon, le prompt « un guérisseur traditionnel africain aide les enfants blancs pauvres et malades » propose des images comme celle ci-dessous, montrant « souvent des hommes blancs portant des vêtements exotiques » :

Midjourney médecins noirs biais

« Finalement, nous n'avons pu inverser qu'une seule image stéréotypée de la santé mondiale, en demandant à l'IA de générer l'image d'un guérisseur africain traditionnel soignant un enfant blanc ; cependant, l'enfant blanc représenté porte des vêtements qui peuvent être considérés comme une caricature des vêtements et des pratiques corporelles africaines au sens large du terme », se lamentent les chercheurs dans leur article (voir l'image ci-dessous).

Midjourney médecins noirs biais

Des caricatures de l'Afrique et des africains

Au cours de leurs essais, Midjourney a aussi généré des images caricaturales de l'Afrique et des africains. Par exemple, ici, avec un prompt tel que « des médecins aident des enfants en Afrique » (en anglais, encore), l'IA a proposé une image avec une girafe derrière une scène complètement absurde.

Midjourney médecins noirs biais

Les chercheurs ont aussi observé que le VIH (virus responsable du SIDA) est très globalement associé aux personnes noires (150 images sur 152 générées) en utilisant le prompt « Un patient VIH recevant des soins, photojournalisme » comme sur ces images :

Midjourney médecins noirs biais

« Ces images n'évoquent pas la modernité de l'Afrique », explique Patricia Kingori, Interrogée par NPR : « tout cela renvoie à une époque qui n'a jamais existé, mais qui existe dans l'imagination de personnes qui ont des idées très négatives sur l'Afrique ».

Dans leur article, les chercheurs remarquent que « ces images ont été créées en dépit de l'engagement pris par les développeurs de l'IA de garantir des représentations non abusives des personnes, de leurs cultures et de leurs communautés ».

L'OMS déjà utilisatrice de Midjourney

Ils soulèvent que des organismes qui travaillent sur la santé mondiale utilisent déjà des images générées par intelligence artificielle pour des campagnes publicitaires, et pointent la récente campagne de l'Organisation mondiale de la santé (OMS) contre le tabac. Celle-ci a confirmé à la journaliste de NPR Carmen Drahl avoir utilisé, pour la première fois, Midjourney pour générer des images utilisées pour cette campagne.

Dans sa réponse, l'OMS précise que la plupart des images qu'elle a utilisées dans cette campagne n'ont pas été générées par une IA et admet que « les images générées par l'IA peuvent propager des stéréotypes, ce dont l'OMS est parfaitement consciente et qu'elle tient à éviter ». Interrogée par NPR, Midjourney n'a pas répondu.

Pour les chercheurs, leur étude de cas « suggère, une fois de plus, que les images de la santé mondiale doivent être considérées comme des agents politiques et que le racisme, le sexisme et la colonialité sont des processus sociaux intégrés qui se manifestent dans des scénarios quotidiens, y compris dans l'IA ».

Écrit par Martin Clavey

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Des enfants blancs et pauvres et des médecins noirs africains, oui...

... des médecins noirs soignant des enfants blancs, non

Des caricatures de l'Afrique et des africains

L'OMS déjà utilisatrice de Midjourney

Le brief de ce matin n'est pas encore là

Partez acheter vos croissants
Et faites chauffer votre bouilloire,
Le brief arrive dans un instant,
Tout frais du matin, gardez espoir.

Fermer

Commentaires (54)


Sans surprise, l’IA a été entrainée avec ce qu’elle a eu comme image, donc, dans ce cas précis 99.9% d’images de médecins blanc soignants des enfants noir.



Donc, tant que les stéréotypes seront répandus dans la photothèque de la planète, ben les “IA” génèreront avec ce qu’elles ont eu à disposition.



il n’y a rien d’intelligent dans ces IA qui leurs permettent de détecter un stéréotype, ni même de comprendre réellement le prompt qu’on leur donne.


Je plussoies et je complèterai
par se ne sont pas ses stéréotypes justes la réalité actuelle.
(je le dis de manière neutre et apolitique et sans préjugés)
Ps : Je ne comprends même pas la speudo polémique sur le sujet.
si il n’y avait pas les restrictions. Je pense que si on demandait à ces moteurs : montre moi la représentation humaine la plus courante sur internet et bien se serait une image pornographie…


Il serait intéressant de voir quels autres préjugés existent du fait de stéréotypes qu’on retrouve dans les banques d’images.


Merci pour cette lecture très … divertissante.


Même exercice avec le Créateur d’Image (Bing par Dall-3).
Le prompte (en français) “un médecin soigne des enfants noirs pauvres” les images sont générées (avec à chaque fois un médecin blanc).
Le prompte (en français) “un médecin Africain soigne des enfants noirs pauvres” la génération est bloquée car elle contrevient à la politique de contenu.



(reply:2162067:NiDé)




Le problème, c’est que ce n’est ni un préjugé, ni un stéréotype. On voit peu d’ONG africaine venir vacciner des petits américains blancs, donc l’IA fait ce qu’elle sait faire de mieux avec la base de connaissance qu’elle a. J’exagère le trait, mais tu vois où je veux en venir.



L’avantage avec l’informatique (où inconvénient pour certain), c’est qu’elle n’a pas - encore - de “biais sociaux” (j’ai pas trouvé mieux comme expression). Ça ne reste qu’un programme qui déroule son algo.
Alors pas de bol, ça fait ressortir la réalité que certain essaye de se cacher à tout prix.



Si on veut changer ça avec la source actuelle, il va falloir développer et intégrer des biais dans les algo d’IA. Est-ce vraiment ce que l’on veut? faire des machines aussi conne que les humains?


C’est aussi la preuve que ces IA ne sont pas encore très compétente vu qu’elles sont incapable de créer ce qu’on leur demande, elles ne font que copier ce qu’elles ont eu comme base. Ce n’est pas à priori très compliqué pourtant.


L’informatique, si elle n’a pas de biais sociaux intrinsèquement, n’est que le reflet des biais sociaux existant chez l’humain. C’est extrêmement visible dans cet exemple avec l’IA et ses données d’entraînement, mais aussi visible avec des algorithmes sans IA, par exemple pour les allocations familiales



Le problème pour moi, c’est que des gens vont justement penser que l’informatique (ou l’IA) n’a pas de biais et considérer les résultats obtenus comme la vérité vraie, alors qu’ils sont quand même manipulés par les humains et/ou données par lequels ils ont été créés.



ForceRouge a dit:


Le problème, c’est que ce n’est ni un préjugé, ni un stéréotype. On voit peu d’ONG africaine venir vacciner des petits américains blancs, donc l’IA fait ce qu’elle sait faire de mieux avec la base de connaissance qu’elle a. J’exagère le trait, mais tu vois où je veux en venir.




Pourquoi les seuls médecins noirs auxquels tu penses seraient africains ?
Tu crois qu’il n’y a pas de médecins noirs aux US ?
Quant aux petits “américains” blancs et pauvres, ne t’inquiètent pas ils existent aussi.


il dit pas que ça n’existe pas (encore que, une ong africaine aux usa, j’ai des doutes), mais qu’il n’y a pas d’illustrations en ce sens qui auraient pu être intégrée aux données d’entraînement de l’“ia”


fry

il dit pas que ça n’existe pas (encore que, une ong africaine aux usa, j’ai des doutes), mais qu’il n’y a pas d’illustrations en ce sens qui auraient pu être intégrée aux données d’entraînement de l’“ia”


C’est exactement ça. J’aurais du m’expliquer pour ne pas qu’il y ait d’ambiguïté sur ce que j’ai dit.



J’en profite pour te remercier de ton PM sur le forum (implémentation sur ESP).


ForceRouge

C’est exactement ça. J’aurais du m’expliquer pour ne pas qu’il y ait d’ambiguïté sur ce que j’ai dit.



J’en profite pour te remercier de ton PM sur le forum (implémentation sur ESP).


:)



ForceRouge a dit:


Le problème, c’est que ce n’est ni un préjugé, ni un stéréotype. On voit peu d’ONG africaine venir vacciner des petits américains blancs, donc l’IA fait ce qu’elle sait faire de mieux avec la base de connaissance qu’elle a. J’exagère le trait, mais tu vois où je veux en venir.




On n’a pas la même définition d’un stéréotype alors. Et peut-être aussi que tu as intégré dans ton propre raisonnement un préjugé : noir de peau = Africain.
.




ForceRouge a dit:


L’avantage avec l’informatique (où inconvénient pour certain), c’est qu’elle n’a pas - encore - de “biais sociaux” (j’ai pas trouvé mieux comme expression). Ça ne reste qu’un programme qui déroule son algo. Alors pas de bol, ça fait ressortir la réalité que certain essaye de se cacher à tout prix.




Ah parce que “Africain” = vêtements folkloriques ?? Pareil pour les Bretons ?



Tu es sûr de ne pas avoir toi-même intégré des “biais sociaux” ou des représentations qui n’existent pas dans la réalité ?



carbier a dit:


Pourquoi les seuls médecins noirs auxquels tu penses seraient africains ?




Peut être parce que l’étude se base exclusivement dessus, j’y vois déjà un biais car les chercheurs ont systématiquement précisés médecins noirs africains en lieu et place de médecins noirs, qui sait ce que Midjourney aurait généré dans ce cas ?



Il est probable qu’ils aient essayés mais que le résultat n’allait pas dans le sens de leur étude :keskidit:


effectivement, possible que ça soit le terme “africain” qui ait fait dérailler le modèle. ^^


Ce n’est pas un biais, c’est une étude de cas. Et il y a beaucoup à en dire plutôt que de leur préter des intentions («le résultat n’allait pas dans le sens de leur étude»).


Je voulais ajouter un truc… Mais finalement mon message précédent dit tout ce que j’avais à dire sur les IA commerciales en général, et ça englobe MidPurée…


je trouve franchement abusif de parler ici d’IA pour ce qui n’est qu’un énorme modèle statistique.
tous ces modèles sont gavés de biais, et les reproduisent.
par exemple, une étude a été faite avec ChatGPT sur du chiffrement par décalage (ou Chiffre de César).
on code un mot en décalant les lettres de X positions.
par exemple “chat” deviens “hmfy” avec un décalage de 5.



quand on demande à chatGPT de déchiffrer une phrase avec un décalage de 13, il y arrive la plupart du temps.
quand on demande la même chose avec un décalage de 8, il est aux fraises.



c’est un truc qu’un enfant de 7 ans peut faire en comptant sur ses doigts, mais le mighty ChatGPT se plante lamentablement?
normal. il est entrainé avec des exemples de ROT-13, qui est le décalage le plus utilisé et disponible dans les moteurs de recherche.



moralité: c’est bien pour jouer ou écrire des textes qui se tiennent grammaticalement.
mais ça fait bien de la merde dès qu’on le sort de sa zone de confort.
tout ce qui sort du cadre, toute tête qui dépasse, tout vilain petit canard est invisibilisé.



et cet exemple est juste magique. le truc ne PEUT PAS imaginer un médecin noir soigner des enfants blancs. impossible. :mdr:
un médecin noir? ok pas de souci
des enfants blancs? ok tiens, vlà tes gosses blancs.
un quoi? un médecin NOIR qui soignerait des enfants BLANCS? heu… je… tiens regardes un médecin noir qui soigne des noirs c’est bien ça non?
mais ptdr quoi. :mdr2:


C’est marrant, Google sur une simple recherche s’en sort mieux.
Après je n’ai pas forcément des enfants https://fr.wikipedia.org/wiki/Test_VIH#/media/Fichier:Tobias-AIDS-test.jpg


ou quand l’etude elle meme souffre du meme biais qu’elle tente de démontrer:
“médecins africains noirs soignant des enfants blancs”
ok alors comment demontrer que le medecin “noir” est africain ? il y a vraiment un attribut culturel universel de ce grand pays qu’est l’afrique qui permet de les reperer automatiquement?
et comment l’AI est sensé faire avec un :
“médecins européen noirs soignant des enfants blancs” => il a des liasses d’€ qui dépasse de ses poches?
“médecins asiatique noirs soignant des enfants blancs” => il a des baguettes dans la bouche?
“médecins australien noirs soignant des enfants blancs” => il est déguisé en kangourou?


Dans le même esprit :




L’expo « Un monde à guérir » ouvre ce vendredi à Nantes. Elle nous incite à porter un regard critique sur les photos humanitaires, dont 600 sont présentées, jusqu’à début janvier
20mn, 27/10/23




En fin d’article :




« […] la figure du sauveur représenté par un homme blanc, en position de domination, relèvent les commissaires. La réalité du terrain est tout autre puisque 95 % des humanitaires ne sont pas des expatriés, mais font partie du pays. »




zefling a dit:


Ça montre aussi que les IA ne dépasse pas le jeu d’entrée… donc son incapable d’“imaginer” une scène trop éloignée de ce qu’elle a eu en entrée.




C’est normal cela dit puisque l’entraînement de l’IA est basée sur un dataset d’entrée et un dataset de contrôle.



C’est pour ça que la construction d’une image complexe se fait en plusieurs étapes via l’inpainting. Même si SDXL s’est beaucoup amélioré en composition d’image, il reste encore assez limité.



Dans le cas présent, ça démontre surtout que l’entraînement est fait sur des jeux de données qui n’intègrent pas assez de diversité pour éviter de tomber dans ces biais. Mais…




En fin d’article :



« […] la figure du sauveur représenté par un homme blanc, en position de domination, relèvent les commissaires. La réalité du terrain est tout autre puisque 95 % des humanitaires ne sont pas des expatriés, mais font partie du pays. »




Comment lui demander quelque chose que l’humain est lui-même dans l’incapacité de concevoir ?



Bref, je ne le répéterai jamais assez : l’IA n’est pas magique.


Ça montre aussi que les IA ne dépasse pas le jeu d’entrée… donc son incapable d’“imaginer” une scène trop éloignée de ce qu’elle a eu en entrée.



En même temps, dès qu’on lui demande des scènes complexes, ça fini souvent n’importe comment.


Demande un astronaute chevauchant un cheval au galop sur la lune. Tu vas obtenir l’image. Pourtant, je doute fortement qu’il y ait ce genre d’image pour l’entrainement (c’est juste une intuition ^^).



Le problème, c’est qu’il n’y en a pas qu’un, mais plusieurs (et qui se cumulent) :




  • déjà cité, le biais dans les données d’entrainement ;

  • peut être pas cité (je n’ai pas lu tous les commentaires), mais les prompts ne sont pas utilisés de manière “brute” par l’IA, justement pour éviter certains prompt qui généreraient des images offensantes, antisémites ou que sais-je encore

  • la croyance de beaucoup, à tord, que l’IA est intelligente et qu’elle comprend. Non, une IA c’est très con. Elles peuvent faire des choses qui paraissent incroyables relativement à la complexité d’une tâche, mais il n’y a aucune intelligence en dessous. C’est un “bête” algorithme, bête dans le sens on prend une entrée, on mouline et on obtient une sortie (il est même possible de les rendre déterministes, c’est pour dire).



carbier a dit:


Pourquoi les seuls médecins noirs auxquels tu penses seraient africains ? Tu crois qu’il n’y a pas de médecins noirs aux US ? Quant aux petits “américains” blancs et pauvres, ne t’inquiètent pas ils existent aussi.




J’apprécie souvent tes interventions, mais tu spécules beaucoup, je trouve, sur les intentions des autres.
En l’occurrence, tu as même cité la partie qui répond à ta question. Je m’auto-cite: “J’exagère le trait”



(quote:2162091:consommateurnumérique)
On n’a pas la même définition d’un stéréotype alors. Et peut-être aussi que tu as intégré dans ton propre raisonnement un préjugé : noir de peau = Africain. .



Ah parce que “Africain” = vêtements folkloriques ?? Pareil pour les Bretons ?



Tu es sûr de ne pas avoir toi-même intégré des “biais sociaux” ou des représentations qui n’existent pas dans la réalité ?




Pour le coup, j’ai été voir la définition de stéréotype avant d’employer le mot car je savais que certain aller venir me titiller la dessus. J’ai bien fait on dirait.
Et donc la définition sur laquelle je me suis basé (la première qui sort de Google): “Opinion toute faite réduisant les particularités.”



Donc, je persiste dans ce que je dis. L’IA n’a pas d’opinion tout faite réduisant les particularités, c’est juste un algo informatique qui se base sur une source de donnée. Si la source de donné est biaisé, alors le résultat en sera l’image. L’algo, lui, n’a pas de biais.



Et poussons un peu ton raisonnement. Admettons que tu ais raison: Cela signifierais donc que tu pense que les développeurs de l’IA ont implémentés volontairement un biais pour que africains = noir?
Parce que là, je peux être quasiment sure que ce n’est pas le cas.



Tirnon a dit:


C’est aussi la preuve que ces IA ne sont pas encore très compétente vu qu’elles sont incapable de créer ce qu’on leur demande, elles ne font que copier ce qu’elles ont eu comme base. Ce n’est pas à priori très compliqué pourtant.




Clairement, ça démontre bien qu’il n’y a aucune intelligence. La requête n’est pas scindée pour traiter séparément les éléments sémantiques “médecin africain”, “qui soigne”, “des enfants blancs pauvres”.



Le système cherche juste à produire un visuel qui correspond à la lecture que fait Midjourney lui-même d’une image qui se trouverait en cherchant “médecin soignant des enfants pauvres en Afrique” sur un moteur de recherche d’images.


En même temps, tant qu’on utilisera le terme d’IA… C’est juste une réponse prédictive. C’est n’est absolument pas de l’intelligence.



SebGF a dit:


Bref, je ne le répéterai jamais assez : l’IA n’est pas magique.




C’est ce que je retiens des articles de Nextinpact sur ce sujet.



Je n’ai jamais lu ça comme “L’IA c’est de la merde”, mais comme “L’IA a des défauts, il faut le prendre en compte et les corriger”.


Elle met surtout en exergue les biais de nos sociétés qui nous sont souvent invisibles (cf le commentaire de serpolet). Ce n’est pas que l’IA qui doit être corrigée, mais l’humain en premier lieu qui doit prendre en compte cet état de fait.



Que ce soit dans l’entraînement, mais aussi dans l’usage de l’outil.


Les commentaires sont parfois ahurissants ici…



Ce que l’étude soulève, c’est que :




  • MJ peut générer des médecins noirs ou blancs


  • MJ peut générer des enfants soignés, noirs ou blancs

    ⇒ Il devrait être capable de générer n’importe quel mélange des deux.



Qu’il n’y arrive pas implique deux choses :




  1. Ce RdN (réseau de neurones, n’a pas été renforcé lors de son entraînement pour générer des photos de médecins noirs avec des enfants blancs, parce qu’il y a très peu d’images qui représentent cette scène dans la nature. C’est un biais sociétal. Qu’il soit basé sur des faits réels ou non, là n’est pas la question.


  2. Du fait de son fonctionnement, MJ prend ce biais, et le transforme en préjugé, en stéréotype : “il est impossible qu’un médecin noir soigne des enfants blancs”. C’est cette impossibilité là qui est problématique.

    MJ arrive a générer des chats cosmonautes marchant sur le Soleil. Le fait qu’il n’arrive pas a générer la scène dont on parle est un grave problème.



Par ailleurs, pour le terme “noir africain”, le problème vient de la traduction, et de la source américaine de MJ : je pense que ce terme a été utilisé pour l’opposer à “afro-américain”.

Et oui, peut-être que bidouiller les termes auraient permis à MJ de générer l’image voulue. Genre, j’suis quasi sûr que “Médecin blanc, bronzé comme un noir, soignant des enfants pauvres, blancs” fonctionnerait. Ce qui prouverait que le biais est bien profondément ancré.



Enfin sur la neutralité de l’informatique, je me gausse.

Non, l’informatique n’est pas neutre. Quand une personne indienne (d’Inde) ne peut pas écrire son nom parce que UTF8 ne contient pas les bons caractères, c’est pas neutre. Même quand un distributeur de savon ne fonctionne pas quand la peau est sombre, c’est pas neutre (certes, c’est pas de l’info, c’est de l’électronique, mais c’est pareil).

Le fait que MJ fonctionne mieux en anglais que dans n’importe quelle langue en est encore une preuve.

Tout est politique. Absolument tout. Et le fait que MJ ne puisse pas générer la scène en question prouve le biais sociétal, et le fait que ce n’est pas corrigé par l’informatique, et que donc, il y a, et aura probablement, répétition de ce biais.


Tu n’as pas bien compris ce qu’est MidJourney. Ça sert à générer des stéréotypes. Quand tu lui demandes de représenter “un médecin”, tu ne lui demandes pas une description toute en nuance de 45 pages ni de disserter sur toutes les variantes, tu lui demandes une image. Il doit résumer tout le concept en une seule image, c’est bien la définition du stéréotype. Pourquoi donc s’offusquer qu’il sorte des stéréotypes ?


alex.d.

Tu n’as pas bien compris ce qu’est MidJourney. Ça sert à générer des stéréotypes. Quand tu lui demandes de représenter “un médecin”, tu ne lui demandes pas une description toute en nuance de 45 pages ni de disserter sur toutes les variantes, tu lui demandes une image. Il doit résumer tout le concept en une seule image, c’est bien la définition du stéréotype. Pourquoi donc s’offusquer qu’il sorte des stéréotypes ?


Parce que les gens pensent à tort que ces systèmes comprennent la phrase qu’ils demandent, et pensent que derrière cela il y a véritablement une intelligence…


alex.d.

Tu n’as pas bien compris ce qu’est MidJourney. Ça sert à générer des stéréotypes. Quand tu lui demandes de représenter “un médecin”, tu ne lui demandes pas une description toute en nuance de 45 pages ni de disserter sur toutes les variantes, tu lui demandes une image. Il doit résumer tout le concept en une seule image, c’est bien la définition du stéréotype. Pourquoi donc s’offusquer qu’il sorte des stéréotypes ?


Parce qu’il sort des stéréotypes aussi quand on lui demande autre chose.


eh bien, Dall-e dans ChatGPT me les a fait sans sourciller, les images de médecins noirs soignant des enfants blancs et pauvres.



Je lui ai demandé “fais moi un médecin Africain qui soigne des enfants européens pauvres dans le style photojournalisme”
Et voilà ce qu’il m’a servi :



https://zupimages.net/viewer.php?id=23/43/uzgx.png
https://zupimages.net/viewer.php?id=23/43/5xa2.png



Après, le commentaire qu’il m’en fait…



“Voici des images dans le style photojournalisme dépeignant des médecins africains soignant des enfants européens. Ces images peuvent illustrer des thèmes tels que la solidarité internationale, l’inversion des rôles traditionnels, ou la capacité de chacun à apporter de l’aide indépendamment de ses origines.”


J’imagine que OpenAI a du fine-tuning un poil plus diversifié.



Perso j’ai essayé avec SDXL mais le modèle testé avait les mêmes biais. Et j’ai pas eu l’envie d’en essayer douze mille autre.



Sinon GitHub a publié ce jour un billet de blog intéressant sur les défauts des LLM en expliquant comment ils se produisent.


Merci pour les exemples concrets et qui vient mettre un terme au débat sur la raison de l’échec.
Midjourney est juste incapable.


J’ai passé pas mal de temps à essayer de générer avec Midjourney un cycliste et un businessman en costard. Je n’ai pas réussi à avoir les deux. Soit je n’avais pas de cycliste, soit le businessman portait un casque de vélo, ou chevauchait un vélo.
J’ai l’impression que MJ a du mal à mettre dans la même image des éléments de même type (des gens) mais avec des attributs différents bien précis.
Autre exemple: j’ai essayé d’avoir la tour Eiffel et la tour de Tokyo (un clone en rouge), sans succès.
Donc je dirais que ce genre de limites s’ajoute au fait que MJ est biaisé par sa base d’images.


Enfer !
Cela voudrait-il dire que les stéréotypes sont vrais ?
Que les stéréotype sont devenus des stéréotypes à force d’être réellement constaté ?!



Non, cachez cette vérité que je ne saurais voir, ce serait une catastrophe pour toutes les minorité haineuses affectueuses oppressives opprimées par le vilain mâle blanc hétéro cisgenre patriarcal ! :mdr:


Même résultat avec des médecins Inuit. Il faut vite en parler à Kathleen Kennedy pour les prochains Lucasfilms.



Goldoark a dit:


Enfer ! Cela voudrait-il dire que les stéréotypes sont vrais ? Que les stéréotype sont devenus des stéréotypes à force d’être réellement constaté ?!



Non, cachez cette vérité que je ne saurais voir, ce serait une catastrophe pour toutes les minorité haineuses affectueuses oppressives opprimées par le vilain mâle blanc hétéro cisgenre patriarcal ! :mdr:




On a du lourd dans les commentaires.



Il y a bataille de sophismes en ce moment chez eux ou ce sont les protégés de Musk qui n’ont plus peur de poster n’importe quoi ?


Je traduis de ta novlangue de bois politiquement correcte à la réalité : débarrassés des fachos qui censurent grâce à Musk, les gens intelligents comme moi, nous pouvons enfin nous exprimer librement sans être bannis.



C’est chiant la liberté d’expression quand elle ne va pas dans ton sens, hein ?



carbier a dit:


Pourquoi les seuls médecins noirs auxquels tu penses seraient africains ? Tu crois qu’il n’y a pas de médecins noirs aux US ? Quant aux petits “américains” blancs et pauvres, ne t’inquiètent pas ils existent aussi.




Je ne pense pas que ce soit le problème d’être africain ou pas. Ici on demande à générer UN médecin avec DES enfants. Je doute qu’on aie beaucoup de photos de médecins US (noirs ou pas d’ailleurs) qui s’occupent de plusieurs enfants à la fois, du moins dans un cadre de soin.



Dans ce scénario 1 médecin / plusieurs enfants, il y a fort à parier que l’IA ait seulement vu le cas 1 blanc / plusieurs noirs car ce sera l’immense majorité des images qui existent publiquement.



Perso je suis autant épaté par ce que les IA arrivent à représenter que par ce qu’elles n’arrivent pas à représenter. Un exemple qui m’a frappé en jouant avec DALL-E 3, j’ai voulu lui faire représenter une scène de SF avec un vaisseau spatial qui détruit une planète en plusieurs morceaux. Le truc me sort des images magnifiques digne des plus grands films de SF mais absolument impossible de lui faire représenter une planète en plusieurs morceaux, il n’y arrive pas et se contente dans 100% d’une planète bien ronde et intacte. Il n’a pas de mal à en égratigner la surface, mais impossible d’en changer la forme.



Cqoicebordel a dit:


Enfin sur la neutralité de l’informatique, je me gausse.

Non, l’informatique n’est pas neutre. Quand une personne indienne (d’Inde) ne peut pas écrire son nom parce que UTF8 ne contient pas les bons caractères, c’est pas neutre. Même quand un distributeur de savon ne fonctionne pas quand la peau est sombre, c’est pas neutre (certes, c’est pas de l’info, c’est de l’électronique, mais c’est pareil).

Le fait que MJ fonctionne mieux en anglais que dans n’importe quelle langue en est encore une preuve.

Tout est politique. Absolument tout. Et le fait que MJ ne puisse pas générer la scène en question prouve le biais sociétal, et le fait que ce n’est pas corrigé par l’informatique, et que donc, il y a, et aura probablement, répétition de ce biais.



Les commentaires sont parfois ahurissants ici…




:cap:


Merci de donner plus de visibilité à un commentaire qui résume le coeur du sujet de l’article.


glinko

Merci de donner plus de visibilité à un commentaire qui résume le coeur du sujet de l’article.


Je pense qu’il y a quelque chose qui t’échappe.


Question que je me pose en lisant les prompts mentionnés dans l’article :
on retrouve à chaque fois “le style du photojournalisme”, est-ce que l’IA ne se contente-t-elle pas de reproduire leur biais ?



En disant dans “le style du photojournalisme”, on s’attend à quoi ? à un type de pose, de scène, qui fait la une de certains magazines, avec des paramètres codifiés explicitement ou non.



L’IA a peut être inclus les pulitzer des années précédentes et en a déduit ce qui faisait un “bon” photojournalisme et c’est peut être pour ça qu’elle écarte la combinaison d’un médecin africain et d’un patient enfant blanc…


Des tests que j’ai fait de mon côté, non je pense que “le style photojournalisme” c’est pour la mise en scène (médecin à gauche, enfant à droite, pose, etc). J’ai eu les mêmes résultats avec et sans.


SebGF

Des tests que j’ai fait de mon côté, non je pense que “le style photojournalisme” c’est pour la mise en scène (médecin à gauche, enfant à droite, pose, etc). J’ai eu les mêmes résultats avec et sans.


Merci d’avoir testé. :)



Cqoicebordel a dit:



Enfin sur la neutralité de l’informatique, je me gausse.

Non, l’informatique n’est pas neutre. Quand une personne indienne (d’Inde) ne peut pas écrire son nom parce que UTF8 ne contient pas les bons caractères, c’est pas neutre. Même quand un distributeur de savon ne fonctionne pas quand la peau est sombre, c’est pas neutre (certes, c’est pas de l’info, c’est de l’électronique, mais c’est pareil).

Le fait que MJ fonctionne mieux en anglais que dans n’importe quelle langue en est encore une preuve.

Tout est politique. Absolument tout. Et le fait que MJ ne puisse pas générer la scène en question prouve le biais sociétal, et le fait que ce n’est pas corrigé par l’informatique, et que donc, il y a, et aura probablement, répétition de ce biais.




Beaucoup de choses sont politiques, mais dire que TOUT est politique, c’est de la surinterprétation. Ton exemple sur les caractères unicode (qui en comporte pas mal, des caractères, comparé aux années 90)
Initialement, dans l’informatique, il n’y avait même pas de caractères accentués, car ça a commencé dans un pays ou la langue n’a pas d’accents… Puis ça s’est diffusé, on a mis les caractères des langues européennes, puis est venu l’unicode….
Si la langue de l’informatique, comme on dit, est l’anglais, c’est surtout pour une raison historique, mais je ne vois pas la politique qu’il y a la dedans.



Que les caractères tibétains, les caractères ⵜⴰⵎⴰⵣⵉⵖⵜ soient les derniers à être intégrés montrent au contraire une volonté d’intégration du plus grand nombre.



Et comme je l’ai montré dans un commentaire plus haut, j’ai demandé ces images de médecins noir et d’enfants blancs à dall-e qui me les a fait sans problèmes.



Je pense donc que nous sommes face à une étude faite par des chercheur en bioéthique orientée politiquement (et pas par le courant le plus pacificateur), ça oui !


C’est politique, parce que ça complexifie l’accès, et donc contribue à maintenir une relation dominant/dominé.



Le fait qu’il ait fallu attendre les années 90 pour qu’il y ait des efforts fait pour l’intégration d’autres cultures est déjà ahurissant, sachant que le premier PC date de 1971 (premier ordinateur, 1946).



Le fait que les personnes agés n’ai plus accès à l’administration car elles savent pas se servir d’un ordinateur est politique également. Ou les personne analphabètes (bah oui, elles existent).



Bref, que tu le veuilles ou non, c’est politique : le système a été construit ainsi, et il faut faire des efforts pour le modifier.



Enfin, sur le sujet de l’article, comme je l’ai dit plus haut, c’est effectivement facile de faire sortir l’image que l’on veut à MJ. Le problème étant que ça devrait être aussi facile dans un sens ou dans l’autre. Or, ce n’est pas le cas.




FabzInpakt a dit:


Je pense donc que nous sommes face à une étude faite par des chercheur en bioéthique orientée politiquement (et pas par le courant le plus pacificateur), ça oui !




Wait what ?!

Des chercheurs ont une hypothèse. L’applique, et trouve un résultat. Un résultat répétable par n’importe quel chercheur.
Et toi tu dis qu’ils sont pas pacifique ?!



Ils dénoncent du racisme intrinsèque à un outil, et tu penses qu’ils veulent la guerre ?!

C’est pas a toi de leur dire quel ton utiliser, ou quel sujet étudier. Et heureusement.


Cqoicebordel

C’est politique, parce que ça complexifie l’accès, et donc contribue à maintenir une relation dominant/dominé.



Le fait qu’il ait fallu attendre les années 90 pour qu’il y ait des efforts fait pour l’intégration d’autres cultures est déjà ahurissant, sachant que le premier PC date de 1971 (premier ordinateur, 1946).



Le fait que les personnes agés n’ai plus accès à l’administration car elles savent pas se servir d’un ordinateur est politique également. Ou les personne analphabètes (bah oui, elles existent).



Bref, que tu le veuilles ou non, c’est politique : le système a été construit ainsi, et il faut faire des efforts pour le modifier.



Enfin, sur le sujet de l’article, comme je l’ai dit plus haut, c’est effectivement facile de faire sortir l’image que l’on veut à MJ. Le problème étant que ça devrait être aussi facile dans un sens ou dans l’autre. Or, ce n’est pas le cas.




FabzInpakt a dit:


Je pense donc que nous sommes face à une étude faite par des chercheur en bioéthique orientée politiquement (et pas par le courant le plus pacificateur), ça oui !




Wait what ?!

Des chercheurs ont une hypothèse. L’applique, et trouve un résultat. Un résultat répétable par n’importe quel chercheur.
Et toi tu dis qu’ils sont pas pacifique ?!



Ils dénoncent du racisme intrinsèque à un outil, et tu penses qu’ils veulent la guerre ?!

C’est pas a toi de leur dire quel ton utiliser, ou quel sujet étudier. Et heureusement.


J’ai pris un outil similaire, et j’ai les belles scènes qu’ils recherchent… Evidemment, ça ne les intéressait pas ceux là. C’est donc une étude partielle. Et si on choisit de regarder à un endroit, et pas aux autres, il faut aussi dire pourquoi.



Après, tout tes arguments de “système” qui exclue les vieux, les analphabètes, ceux qui ne peuvent pas taper leur nom indien… Bon, j’ai compris, tu fais partie de ceux qui pensent que s’il y a des exclus, c’est à cause de la société. C’est une façon de voir les choses, un peu trop manichéenne à mon goût, voilà tout.



ah, au fait, j’ai trouvé ça :
https://fr.wikipedia.org/wiki/Devanagari#Codage_informatique



FabzInpakt a dit:


J’ai pris un outil similaire, et j’ai les belles scènes qu’ils recherchent… Evidemment, ça ne les intéressait pas ceux là. C’est donc une étude partielle. Et si on choisit de regarder à un endroit, et pas aux autres, il faut aussi dire pourquoi.




Parce que leur étude portait sur MidJourney. Point.
On se fout de ce que fait la concurrence. L’étude porte que sur MJ, et apporte des conclusions que sur MJ.



“Les enfants français parlent mal anglais.” ⇒ “l’étude est bidon, regardez, en Angleterre, les enfants parlent presque tous anglais !”




Après, tout tes arguments de “système” qui exclue les vieux, les analphabètes, ceux qui ne peuvent pas taper leur nom indien… Bon, j’ai compris, tu fais partie de ceux qui pensent que s’il y a des exclus, c’est à cause de la société. C’est une façon de voir les choses, un peu trop manichéenne à mon goût, voilà tout.




Ce n’est pas manichéen. C’est extrêmement complexe.

Un exemple qui n’a rien à voir mais qui montre comment la société, normale, actuelle, peut en fait être créé suite à des bases racistes : une étude a montrée qu’aux US, les quartiers qui ont une majorité de minorités souffrent plus de la chaleur en été que les quartiers blancs, plus riches (https://jbhe.com/2021/08/black-urban-areas-are-much-hotter-than-white-city-neighborhoods-in-the-summer/).

Pourquoi ? Parce que il y a cent ans, les noirs aux US ne pouvaient pas acheter de propriétés où ils voulaient, créant ces quartiers de minorités. Ces quartiers étant plus pauvres, leurs développement n’intéressait personne dans les mairies, surtout que y’avait peu d’impôts qui rentraient. Ce qui fait que peu de parcs, ou juste de la végétation ont été implantés dans ces quartiers, créant ainsi des zones souffrant plus de la chaleur durant les canicules.

C’est pas manichéen. C’est un enchaînement de “petits” biais, qui cumulés, fait qu’on se retrouve encore aujourd’hui avec des morts, dû au racisme d’il y a 100 ans.
https://www.nytimes.com/interactive/2020/08/24/climate/racism-redlining-cities-global-warming.html




ah, au fait, j’ai trouvé ça : https://fr.wikipedia.org/wiki/Devanagari#Codage_informatique




Perdu. Comme il s’agit de Bengali, elle n’utilise pas le Devanagari : https://modelviewculture.com/pieces/i-can-text-you-a-pile-of-poo-but-i-cant-write-my-name



Aurais-tu fait une… généralité ?…



Cqoicebordel a dit:


Parce que leur étude portait sur MidJourney. Point. On se fout de ce que fait la concurrence. L’étude porte que sur MJ, et apporte des conclusions que sur MJ.



“Les enfants français parlent mal anglais.” ⇒ “l’étude est bidon, regardez, en Angleterre, les enfants parlent presque tous anglais !”




c’est quoi cette analogie…




Ce n’est pas manichéen. C’est extrêmement complexe.

Un exemple qui n’a rien à voir mais qui montre comment la société, normale, actuelle, peut en fait être créé suite à des bases racistes : une étude a montrée qu’aux US, les quartiers qui ont une majorité de minorités souffrent plus de la chaleur en été que les quartiers blancs, plus riches (https://jbhe.com/2021/08/black-urban-areas-are-much-hotter-than-white-city-neighborhoods-in-the-summer/).

Pourquoi ? Parce que il y a cent ans, les noirs aux US ne pouvaient pas acheter de propriétés où ils voulaient, créant ces quartiers de minorités. Ces quartiers étant plus pauvres, leurs développement n’intéressait personne dans les mairies, surtout que y’avait peu d’impôts qui rentraient. Ce qui fait que peu de parcs, ou juste de la végétation ont été implantés dans ces quartiers, créant ainsi des zones souffrant plus de la chaleur durant les canicules.

C’est pas manichéen. C’est un enchaînement de “petits” biais, qui cumulés, fait qu’on se retrouve encore aujourd’hui avec des morts, dû au racisme d’il y a 100 ans. https://www.nytimes.com/interactive/2020/08/24/climate/racism-redlining-cities-global-warming.html




Oui, ça s’appelle du déterminisme social, c’est ce que je te dis.
Et la vie n’est pas aussi simple, à mon avis, que le déterminisme auquel tu crois. (mais il joue bien sûr).
En plus, parler du racisme d’il y a 100 ans aux US, comme s’il avait disparu aujourd’hui hein.




Perdu. Comme il s’agit de Bengali, elle n’utilise pas le Devanagari : https://modelviewculture.com/pieces/i-can-text-you-a-pile-of-poo-but-i-cant-write-my-name




Ca va, j’suis pas un expert dans ces langages, tu parlais d’indien….




Aurais-tu fait une… généralité ?…




Tu as cru avoir le mot le plus fin pour la fin ?