Comment tenter d’identifier les images générées par des intelligences artificielles ?

S'il suffit d'écrire quelques mots, puis de cliquer sur un bouton, pour que des intelligences artificielles comme Midjourney, DALL-E, Craiyon ou encore Stable Diffusion génèrent, en quelques secondes, des images ultra-réalistes, il n'existe pas de « solution » toute faite pour les identifier en un tournemain.

Après nous être penchés sur la reconnaissance des textes générés par des IA, cette seconde partie fait un tour d'horizon des tactiques, techniques et procédures susceptibles d'identifier les deepfakes et autres images générées par des IA.

• Comment tenter d'identifier les textes émanant d'intelligences artificielles génératives ?

« Les images ne prouvent rien, et c'est peut-être bien en fait », expliquait récemment l'essayiste Raphaël Doan, au sujet de la prolifération d'images générées par des IA. Sans être devin, on peut néanmoins constater que l'expression « je ne crois que ce que je vois » ne signifie plus rien... sauf à avoir vérifié, recoupé et contextualisé ce dont il est question.

"Les images ne sont la preuve de rien mais certains pensent le contraire. Bientôt, il y aura tant de fausses images à cause de l'IA que les gens partiront du principe que c'est faux" @raphaeldoan Essayiste

La suite :
➡️https://t.co/KBKtk5FIyK
🎧en podcast https://t.co/iA4QuHBys9 pic.twitter.com/eInBU0PTOD

— C ce soir (@Ccesoir) May 18, 2023

Les premiers visages de personnes qui n'existent pas, parce que créées par des IA, et utilisés à partir de 2019 pour créer de faux profils LinkedIn notamment, étaient relativement simples à reconnaître et identifier. Des boucles d'oreille, couvre-chefs et arrières-plans improbables, des mèches de cheveux filandreuses, des cols et des couleurs qui bavent.  

A contrario, les véritables photos se reconnaissaient à la texture des vêtements, ainsi qu'à la plausibilité des boucles d'oreilles, couvre-chefs et arrières-plans, notamment lorsque s'y trouvent d'autres personnes. Et ce, parce que les IA n'avaient été entraînées qu'à reproduire des visages, et un seul visage à la fois, et pas le contexte, ni les autres éléments qui les entouraient.

Dit autrement : pour distinguer un vrai visage d'un visage artificiel, il fallait se concentrer sur les « à côtés » du visage, et tenter d'identifier, soit des petits détails qu'une IA n'aurait pas pu générer, soit, a contrario, des petits défauts ne pouvant vraisemblablement émaner que d'une IA. Un exercice facilité par un site comme Which Face is Real, qui met en vis-à-vis une vraie photo avec une image générée par une IA.

Mais ça, c'était avant, avant que les IA génératives ne soient entraînées à, non plus créer des visages seulement, mais des images, quelles qu'elles soient, tout en utilisant des algorithmes et modèles de langage bien plus puissants que les précédents, qui plus est entraînés sur des milliards de photographies. Près de 5,85 milliards d'images sont ainsi stockées dans la base LAION (pour Large-scale Artificial Intelligence Open Network), utilisée pour l'application Stable Diffusion. Et elles évoluent vite.

Cette photo générée par MidJourney est presque flippante. De loin, tu vois une photo « normale ». Tu zoomes un peu, rien ne va. En fait, j’ai l’impression de regarder un cauchemar. C’est exactement à ça que ça ressemble. pic.twitter.com/7Tmotw7dXX

— Julien Simon (@biblionerdist) March 17, 2023

Les images produites par IA ne seront plus discernables

Si Google avait annoncé vouloir lutter contre les deepfakes audio en 2019, suivi par Meta qui, quelques mois plus tard, lançait un Deepfake Detection Challenge, puis un partenariat avec l’université du Michigan, à notre connaissance, ils n'ont toujours pas lancé d'outil de détection des deepfakes, non plus que d'outils pour identifier les images générées par des IA.

Des outils existent, notamment via des extensions Chrome, dont Fake Profile Detector (Deepfake, GAN), ainsi que des services web tels que Hivemoderation.com, AIorNot ou le « Maybe's AI Art Detector » d'Hugging Face, mais ils peuvent donner des résultats mitigés, et pourraient être floués par un acteur mal intentionné qui aurait retouché une image générée par une IA (cf aussi cet article de BellingCat, celui de The Conversation, cette sélection d'outils, cette collection de ressources, celle de la Journalist's Toolbox AI, celle du journaliste spécialisé Craig Silverman, ces articles compilés par le spécialiste henk van ess).

Le New York Times relève par exemple qu'il suffirait de rajouter du grain à une image générée par une IA pour que la probabilité de détection chute de 99 % à 3,3 % du fait du bruit pixelisé ajouté.

Des outils de détection d'images artificielles plus performants verront-ils bientôt le jour ? « J'ai peu d'espoir », explique Frédéric Jurie, professeur à l'université de Caen en vision par ordinateur, à France Info, qui estime que « les images produites par IA ne seront plus discernables » des véritables photographies.

Les modèles de détections expérimentés en laboratoire ne fonctionneraient en effet que sur les versions d'IA pour lesquelles ils ont été programmés, « or des versions nouvelles d'IA sortent en permanence, en quelques semaines voire en quelques heures », tempère le chercheur. De plus, rien n'empêche une IA « d'apprendre comment un détecteur d'images artificielles fonctionne pour le tromper », souligne le professeur.

Google a cela dit récemment annoncé l'arrivée prochaine d'une fonctionnalité « À propos de cette image » qui permettra, à l'image de ce que proposent déjà les trois petits boutons verticaux à côté des résultats de son moteur de recherche, d'en apprendre plus sur le contexte.

Il sera par exemple possible de savoir quand Google les a indexées pour la première fois, sur quels articles, pages web et réseaux sociaux elles ont été utilisées. La fonctionnalité, qui sera d'abord disponible aux États-Unis, devrait être lancée « dans les mois qui viennent ».

La recherche image inversée via Google Lens, Yandex, Bing et Tineye

À défaut d'outil, reste notre capacité critique à repérer les images artificielles. Face à la déferlante d'images créées sur Midjourney, DALL-E, Stable Diffusion, Craiyon et consorts, plusieurs modes d'emploi ont été compilés par des spécialistes du fact-checking (cf aussi celui-ci pour tenter d'identifier les deepfakes audio).

Dans un article intitulé « Reconnaître des images générées par IA : quelques indices, beaucoup de bon sens », AFP Factuel recommande, en cas de suspicion, d'effectuer une recherche image inversée, pour tenter d'identifier la provenance de l'image, et son contexte.

Le plugin de vérification de WeVerify (ex-Invid), est à ce titre l'outil de référence des fact-checkers, mais ne fonctionne qu'avec les navigateurs compatibles Chrome. Il permet en effet, d'un simple click droit, d'effectuer une recherche image inversée sur Google Lens (dont les résultats sont bien meilleurs que le moteur de recherche image de Google, et qui propose un module d'OCR, et de traduction des textes OCRisés), Yandex et Bing (qui, comme Lens, permettent en outre de redimensionner l'image pour se concentrer sur une partie en particulier), ou encore Tineye, le pionnier des moteurs de recherche image inversé.

Si les fonctionnalités de Lens, Bing et Yandex, notamment en matière de reconnaissance biométrique des visages, ou encore des paysages, surpassent Tineye, ce dernier permet de trier les photos en fonction de leurs dates de parution ou de leurs tailles, deux fonctionnalités très utiles pour remonter à la source de l'image d'origine.

Le plugin Weverify/Invid propose de nombreuses autres fonctionnalités, permettant entre autres de zoomer dans une image, d'effectuer plusieurs types d'analyses forensiques susceptibles de montrer des indices de modifications ou de falsifications, et de consulter les méta-données, s'il y en a. La majeure partie des réseaux sociaux ont cela dit tendance à effacer les méta-données. En cas de doute, il conviendra donc d'aller rechercher l'image d'origine, ou encore de réclamer à l'auteur d'une photo par exemple qu'il vous l'envoie par mail.

En tout état de cause, l'outil (gratuit) Forensically nous semble être encore plus probant pour ce qui est des analyses forensiques, mais aussi et surtout parce que c'est le seul à fournir, dans les méta-données, la vignette d'origine des images manipulées, ainsi que des liens vers les cartes OpenStreetMap, Google Maps et Flickr des coordonnées GPS incluses dans les méta-données, quand il y en a.

Les IA ne comprennent rien de ce qu'elles voient et montrent

D'expérience, et pour gagner du temps, partez du postulat que quelqu'un a probablement déjà répondu à la question que vous vous posez. Dès lors, il convient, non pas de poser la question, mais d'aller chercher la réponse, et donc de commencer par lire les commentaires ou les citations d'un tweet, par exemple.

Si la réponse à votre question n'y figure pas, vérifiez si des spécialistes n'ont pas déjà résolu l'énigme. Pour cela, rien de tel que les listes Twitter. L'auteur de cet article a entre autres compilé une liste de près de 500 experts et praticiens du fact-checking, et une autre de plus de 330 experts OSINT.

Le formulaire de recherche de Twitter permet par exemple d'aller chercher tous les tweets de membres de cette liste uniquement (via l'opérateur list: suivi de son identifiant, que l'on trouve dans l'URL de la liste), comportant une ou plusieurs images et mentionnant Poutine ou Putin (vu qu'il s'agit d'une actualité ne se limitant pas à la seule sphère francophone) et Xi Jinping depuis le 1er mars.

list:951477984174755841 putin OR poutine jinping filter:images since:2023-03-01

💬 "Plus un élément va être lointain, plus un objet va être déformé et avoir des perspectives incorrectes"

➡️ Le meilleur moyen de repérer ces anomalies est souvent de scruter l'arrière-plan de la photo, qui peut contenir plusieurs erreurs ou être incohérent 6/8 pic.twitter.com/0YyYyCH1rm

— AFP Factuel 🔎 (@AfpFactuel) March 25, 2023

L'AFP donne plusieurs méthodes permettant de vérifier la photo de Vladimir Poutine embrassant Xi Jinping, qui avait beaucoup circulé. Le fait, d'une part, qu'une recherche image inversée permet de retrouver d'autres photos de leur rencontre, indiquant des éléments de décors très différents, allant de la couleur des fauteuils à celle de la moquette et des murs notamment.

Au-delà du contexte, l'examen de la photo permet d'identifier plusieurs détails problématiques, allant de la texture des cheveux à la forme des oreilles et surtout des mains, ou encore le fait que la colonne blanche, derrière Poutine, est légèrement incurvée alors qu'elle devrait normalement être verticale.

On a aussi vu plusieurs photos montrant des êtres humains dotés de 6 doigts, ou dont la forme des doigts était improbable, mais ce genre d'incohérences a probablement vocation à disparaître. Les IA ont également du mal, à ce stade, à générer des textes cohérents, ainsi que des panneaux de signalisation avec les bonnes couleurs, comme le résument les Décodeurs du Monde :

« L’intelligence artificielle est entraînée à synthétiser les fichiers qu’elle consulte. Elle excelle donc dans la génération d’images ressemblantes, mais elle ne comprend rien à la structure sous-jacente des objets et des personnes. Résultat : des corps qui peuvent régulièrement se trouver dans des situations étranges. »

Les IA, de même, sont capables de reproduire des objets, mais faute d'en comprendre l'utilisation, peuvent planter un parasol dans le ventre du pape, et multiplier le nombre de pieds de sa chaise pliante, ou encore généré une improbable gourde, et faire se chevaucher deux bagues.

« Certaines caractéristiques, souvent les mêmes, posent problème aux IA, ce sont ces incohérences et artefacts qu'il faut scruter, comme dans un jeu des 7 différences », explique à l'AFP Vincent Terrasi, cofondateur de Draft & Goal, startup qui a notamment lancé un détecteur de contenus générés par IA pour les universités :

« Actuellement, les IA ont aussi énormément de mal à générer des reflets. Un bon moyen de repérer une IA est donc de chercher, des ombres, des miroirs, de l'eau, mais aussi de zoomer sur les yeux, et analyser les pupilles puisqu'il y a normalement un reflet quand on prend une photo. On peut souvent aussi remarquer que les yeux ne sont pas de la même taille, parfois avec des couleurs différentes. »

Des images trop belles pour être vraies... ou pas

Les bases de données sur lesquelles elles sont entrainées disposant de très peu de photos de profil, les IA ont également du mal à reproduire les profils des visages qu'elles génèrent. C'est d'ailleurs un truc utilisé pour identifier ceux qui voudraient utiliser des deepfakes vidéo : demandez-leur de tourner la tête (voir aussi les conseils de CheckNews)...

Les Décodeurs soulignent qu'un autre point commun des images générées par des IA est qu'elles ne sont « jamais sourcées et ne renvoient jamais à un article ou à un photographe (et pour cause) ».

De plus en plus de générateurs d'IA intègrent a contrario un filigrane dans leurs images, à l'instar de la barre multicolore pour DALL-E et du crayon rouge de Crayion, situés en bas à droite. Des personnes mal intentionnées prendront cela dit a priori la peine de les effacer.

🖋️ Certains sites peuvent placer un filigrane sur leurs créations

➡️ C'est le cas de DALL-E, qui génère automatiquement une barre multicolore en bas à droite de toutes ses images, ou Crayion, qui place, au même endroit, un petit crayon de couleur rouge 3/8 pic.twitter.com/YnUdoFdIf6

— AFP Factuel 🔎 (@AfpFactuel) March 25, 2023

« En cas de doute, il faut observer le grain de l'image, qui sera, pour l'instant, très différent pour une création d'IA de celui d'une vraie photo », explique à l'AFP Tina Nikoukhah, docteure en traitement d'images au sein du laboratoire de mathématiques de l'ENS Paris-Saclay.

À France Info, elle précise que « le bruit ou grain est en quelque sorte l'ADN d'une photographie. Comme les images générées par IA ne passent pas par les mêmes étapes de fabrication qu'une photo prise par un appareil photo, elles ne produisent pas le même bruit. Cela peut être effectivement une piste pour les repérer ».

Ce quiz, mêlant des photos issues de la banque de données de Shutterstock avec des images générées par Midjourney 5 montre cela dit qu'il va devenir de plus en plus difficile d'identifier celles créées par des IA. Ce pourquoi on se concentrera sur les petits détails, en quête d'incohérences ou, a contrario, d'éléments émanant plus probablement d'un contexte avéré que d'une IA générative. Ce qui (faites le quiz) risque de s'avérer de plus en plus ardu.

L'un de ces quatre bébés a été généré par une IA, saurez-vous l'identifier ?

Cet autre quiz, proposé par Radio France, permet cela dit de se familiariser avec ces petits détails sur lesquels il convient de se concentrer, et qui vont du grain de la peau à la texture des reflets, notamment. Un autre indice est de se demander si c'est trop beau pour être vrai. Le problème étant, cela dit, que la qualité des images générées par des IA tend de plus en plus à s'apparenter aux photographies professionnelles sur la base desquelles elles ont été entraînées.

Ce quiz de la RTBF est plus problématique : non content de (dé)montrer qu'il devient (et sera) de plus en plus difficile d'identifier les images générées par des IA, il qualifie aussi une photographie prise par un drone de « réelle » quand bien même les ombres des palmiers qui y figurent laissent supposer que l'image aurait été photoshoppée. Une chose est d'identifier les images générées par des IA, une autre est de repérer celles qui n'en auraient pas moins été manipulées.

Ce quiz propose de son côté une série de guides pratiques (en anglais), tels que ce cours du MIT, ou ce quiz vidéo. Un mémo de la NSA, du FBI et de la CISA propose lui aussi de nombreux conseils, et ressources en la matière, tels que celui du SANS, notamment.

Enfin, on prendra également soin de vérifier que de véritables photographies (cela vaut aussi bien évidemment pour les textes ou enregistrements sonores) soient accusées, à tort, d'être des « deepfakes » ou d'avoir en tout ou partie été générées artificiellement.

Rest of the World raconte ainsi que des experts ont pu authentifier un enregistrement sonore de propos polémiques tenus par un responsable politique qui, pour sa défense et au nom du « déni plausible », a cherché à faire croire qu'il aurait été généré pour lui nuire... Et 404media rapporte de son côté que des personnes biaisées utilisent des outils de détection des images générées par des AI pour décrédibiliser le fait qu'il s'agirait de véritables photographies.