Vous n'avez pas encore de notification

Page d'accueil

Options d'affichage

Abonné

Actualités

Abonné

Des thèmes sont disponibles :

Thème de baseThème de baseThème sombreThème sombreThème yinyang clairThème yinyang clairThème yinyang sombreThème yinyang sombreThème orange mécanique clairThème orange mécanique clairThème orange mécanique sombreThème orange mécanique sombreThème rose clairThème rose clairThème rose sombreThème rose sombre

Vous n'êtes pas encore INpactien ?

Inscrivez-vous !
Des visages en mouvement à partir de quelques images, voire d’une seule

Egor Zakharov, Aliaksandra Shysheya, Egor Burkov, Victor Lempitsky, chercheurs au Samsung AI lab et à l’Institut Skolkovo des sciences et de la technologie, ont exposé leurs travaux visant à recréer des vidéos photoréalistes à l’aide de quelques images, voire d’une seule.

Effectuer une telle synthèse est considéré comme difficile, rappellent-ils. « Les têtes humaines sont d’une grande complexité photométrique, géométrique et cinématique », tenant à la fois à la modélisation, mais aussi à la forme de chaque élément.

De plus, il y a une très faible tolérance de l’œil humain « vis-à-vis des erreurs, même mineures, dans la modélisation de l'apparence des têtes humaines ». C’est le phénomène de « vallée dérangeante » (uncanny valley), « théorie scientifique (…) selon laquelle plus un robot androïde est similaire à un être humain, plus ses imperfections nous paraissent monstrueuses » (Wikipedia).

Les débouchés sont multiples (vidéoconférence, jeux vidéo, industrie des effets spéciaux). Le résultat est à contempler sur cette vidéo, avec une mention spéciale pour la mise en mouvement du visage de Mona Lisa.

12 commentaires
Avatar de monpci INpactien
Avatar de monpcimonpci- 23/05/19 à 09:00:28

:troll:
  il reste plu qu'a faire parler mona lisa pour savoir si c'est un mec ou une nana ...

Édité par monpci le 23/05/2019 à 09:00
Avatar de tazvld Abonné
Avatar de tazvldtazvld- 23/05/19 à 09:05:47

De ce que je vois, le système se fait en 2 étapes :

  1. La première "encode" les photos des visages de la personnes que l'on veut faire bouger pour le décrire via un ensemble fixe de valeur (en gros, ça a trouver une solution pour décrire le visage comme on le ferait avec un éditeur de perso de RPG).

  2. puis de ce code et d'un schéma du visage (un dessin grossier du visage et des éléments de celui ci) il recréer un nouveau visage.

    Après, derrière, le réseau complet sert à l'apprentissage. C'est grossièrement un Generative Adversarial Neural Network/GAN ou Réseaux antagonistes génératifs. 2 réseaux sont en concurrence, l'un essaie de créer des truc qui semble être vrai pendant que l'autre essaie de repérer ce qui est vrai de ce qui a été généré par le premier réseau. Sachant que le premier réseau a accès au "rapport d'expertise" du second réseau, il sait ce qui a fait tilté le second et donc comment améliorer ses faux pour qu'il paraissent plus vrai la fois suivante. Genre "les coup de pinceaux sont trop courts" -> "je prend note, la prochaine fois, je ferai des coups de pinceau plus long"

Sinon, pour la reconnaissance d'un visage par un humain, il y a 2 phénomènes qui se passe :

  • on est très doué pour voir des visages dans tout et n'importe quoi, un simple doint-points suivit d'une parenthèse et ban on voit une personne souriante :) .

  • on est très sensible au détail sur un visage humain. La moindre imperfection nous saute au yeux.

    Du coup, il est à la fois simple de dessiner quelque chose que l'on arrivera à identifier comme un visage, mais difficile de le faire passer pour un vrai.

Avatar de WereWindle INpactien
Avatar de WereWindleWereWindle- 23/05/19 à 09:36:21

la prouesse est belle, résultat est pas génial (pour Mona Lisa, à tout le moins)

Avatar de thotor Abonné
Avatar de thotorthotor- 23/05/19 à 09:37:55

C'est quand même bien marrant de voir Mona Lisa bouger :D Bon, pour le moment ça fera juste une appli Android de plus pour faire joujou avec son tel en attendant le bus.
Mais je ne doute pas que ça évoluera, et que des esprits dérangés trouveront bien un moyen de l'appliquer à des fins bien moins nobles, telle la reconnaissance faciale qui sert maintenant à traquer de plus en plus. Le bénéfice compense trop peu souvent les dérives, avec ce genre de techno...

Avatar de Oliewan Abonné
Avatar de OliewanOliewan- 23/05/19 à 12:10:19

Intéressant de voir aussi les visages des autres, de Marilyn Monroe et de Dali. Pour ceux qui ont vu ces personnes vraiment parler, on peut voir que c'est prometteur mais que  le chemin est encore long.

Avatar de tazvld Abonné
Avatar de tazvldtazvld- 23/05/19 à 13:04:43

WereWindle a écrit :

la prouesse est belle, résultat est pas génial (pour Mona Lisa, à tout le moins)

A priori, le résultat est meilleur avec plus d'image de référence. La, il n'en a qu'une seule. De plus, avec Mona Lisa, c'est une peinture ce qui sort un peu du cadre classique de ce sur quoi il a appris (il y a des chances que ce soit la base de donnée de photos de célébrité).
Et comme je l'ai dit plus haut : autant on arrive facilement à voir un visage, autant on repère très vite les défauts sur ce visage.
Par exemple sur ce site on est tellement concentré à repérer les petit défaut sur le visage que l'on ne voit pas que le reste est dégueulasse (c'est parfois amusant quand le réseau essaye de simuler un second visage proche).

thotor a écrit :

C'est quand même bien marrant de voir Mona Lisa bouger :D Bon, pour le moment ça fera juste une appli Android de plus pour faire joujou avec son tel en attendant le bus.
Mais je ne doute pas que ça évoluera, et que des esprits dérangés trouveront bien un moyen de l'appliquer à des fins bien moins nobles, telle la reconnaissance faciale qui sert maintenant à traquer de plus en plus. Le bénéfice compense trop peu souvent les dérives, avec ce genre de techno...

Hum, coller le visage de n'importe qui sur n'importe quelle vidéo... que disent les règles d'internet ?

Déjà, de manière général, tu as tout ce qui est "deepfake" qui est en gros tous ce qui permet de créer des faux qui ressemblent au vrai. On pourrait imaginer créer une vidéo de n'importe qui, qui dit ce que tu veux en copiant son visage, ses expressions, sa voix, son intonation mais aussi son "style" de phrase.

Avatar de Drepanocytose Abonné
Avatar de DrepanocytoseDrepanocytose- 23/05/19 à 14:14:15

Pero je vois une application immediate dans l'industrie du porn.
Et je suis sérieux

Avatar de zitrams INpactien
Avatar de zitramszitrams- 23/05/19 à 15:56:30

L'algorithme est basé sur le Da Vinci Code !

Avatar de Optrolight Abonné
Avatar de OptrolightOptrolight- 23/05/19 à 16:28:43

Les débouchés... Première application... Les fakenews

Avatar de monpci INpactien
Avatar de monpcimonpci- 23/05/19 à 19:54:00

Drepanocytose a écrit :

Pero je vois une application immediate dans l'industrie du porn.
Et je suis sérieux

Éclaire nous

Il n'est plus possible de commenter cette actualité.
Page 1 / 2