Plusieurs tests ont été menés sur ChatGPT dans les semaines passées pour observer quels résultats le robot produisait sur des textes concernant des personnes, en fonction de leur genre, de leurs origines ethniques, de leur orientation sexuelle…
Malgré les filtres qui ont été inscrits dans la machine pour éviter, entre autres, les injures directement sexistes, racistes ou autres, les résultats obtenus par la start-up Textio (spécialisée dans la détection de biais algorithmiques) sur des questions d’emploi ou d'émotion démontrent que les données d’entraînement du modèle sont largement biaisées.
Dans le premier cas, l’exercice a consisté à faire écrire à ChatGPT des annonces d’emploi et des retours sur la performance pour des employés imaginaires. Il a généralement suffi de choisir un intitulé de métier (mécanicien, réceptionniste, ingénieur, etc) pour que la machine y accole un présupposé de genre (les tests ont été menés en anglais, qui est une langue neutre : aucune indication de genre n’est comprise dans l’intitulé de l’emploi).
Par ailleurs, la machine n’écrit pas ses retours de la même manière selon le genre supposé : les textes produits sont toujours plus longs pour les femmes que les hommes. Certaines caractéristiques sont aussi quasiment réservées aux femmes (collaborative, pétillante), d’autres, plus directement liées aux compétences, aux hommes (analytique, fort).
Bien sûr, ces biais ne viennent pas de nulle part : Textio a aussi publié une étude sur les biais humains présents dans les analyses de performances, et celle-ci révèle des schémas récurrents de discrimination dans le vocabulaire utilisé.
La fondatrice de Textio a d’ailleurs réalisé un autre test, demandant à la machine de produire des poèmes pour la Saint-Valentin, et rebelote : aux femmes les mentions d’attraits personnels (gracieuse, aimable, gentille), aux hommes la performance (volontaire, ambitieux). Sur les questions raciales, le robot associe de façon quasi mécanique le terme « épicé » aux personnes hispaniques, tandis qu’il considère les personnes queers beaucoup plus « funky » et « colorées » que n’importe quel autre profil.