Face Works : la vidéo de l'impressionnante simulation de visage de NVIDIA

Face Works : la vidéo de l’impressionnante simulation de visage de NVIDIA

Ne lui manque plus que les cheveux

Avatar de l'auteur
David Legrand

Publié dans

Sciences et espace

20/03/2013 3 minutes
36

Face Works : la vidéo de l'impressionnante simulation de visage de NVIDIA

Pendant sa keynote d'ouverture de l'édition 2013 de la GTC, Jen Hsun Huang, l'actuel PDG de NVIDIA, a mis en avant sa démo technologique Face Works. Comme nous l'évoquions alors, le rendu de celle-ci était plutôt impressionnant, ce qui n'était pas forcément très visible sur les captures que nous avions publiées. Heureusement, une vidéo vient d'être mise en ligne par le caméléon.

Pour faire la démonstration des avancées des GPU en manière de photo réalisme, NVIDIA a mis en avant deux démonstrations au début de la keynote d'ouverture de sa GTC. L'une d'entre elles se nomme Face Works et représente le visage (toujours chauve), d'un personnage nommé Ira. 

 

Celui-ci a été créé en partenariat avec l'Institute for Creative Technology (ICT) de l'université de Californie du Sud. Il se base sur des captures de mouvements qui ne dépassent pas le dixième de millimètre afin de rendre bien plus réaliste le rendu final... et autant dire que le résultat semble au rendez-vous.

 

En effet, si en terme de lumière ou de texture, on a légèrement progessé depuis des démonstrations telles que Human head qui date de 2007, la façon dont s'exprime ce visage laisse présager d'un véritable bond en avant dans les films d'animation à venir ou dans les jeux de prochaine génération.

 

Au final, ce sont pas moins de 8000 instructions par pixel qui sont exécutées selon NVIDIA, soit 82 GFLOPS pour le rendu d'une image en 1080p, ou 4.9 TFLOPS à 60 FPS, sans parler de la puissance nécessaire pour appliquer les différents filtres au niveau des textures.

 

GeForce GTX Titan

 

Celles-ci sont d'ailleurs plutôt imposantes : 32 Go pour l'ensemble des expressions gérées par la démo. Le tout est néanmoins compressé à 300 Mo via un découpage en huit zones des textures et seules celles qui disposent de spécificités sont gardées. 

 

Au final, l'ensemble paraît relativement fluide sur la GeForce GTX Titan (4,5 TFLOPS) qui fait tourner la démonstration (8:40). Il n'est pas précisé si elle est seule ou accompagnée de petites soeurs, espérons que NVIDIA la mettra en ligne afin que l'on puisse vérifier le résultat sur n'importe quelle machine disposant de cette carte graphique.

 

 

Pour ceux qui voudraient revoir l'ensemble des moments de cette keynote, vous pourrez le faire via la playlist de vidéos ci-dessous :

 

Écrit par David Legrand

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Commentaires (36)


La vidéo du gars est juste énorme ! <img data-src=" />



Ca fait peur, ce réalisme…


Les expressions faciales sont très bien rendues.



Par contre pour chipoter, les oreilles sont carrément bizarres…



Enfin vu le matos utilisé, ça veut dire qu’on ne verra sans doute pas ça avant 4-5 ans dans les jeux <img data-src=" />


Impressionnant vraiment <img data-src=" />

Tout y est, même les oreilles bougent en fonction des mouvements de la mâchoire et de la tension de la peau.

Les ombres et la lumière sont magnifiques.



Les rides et les plissements, les imperfections de la peau.

Même les dents semblent réelles.



Ca va donner dans les JV !!



<img data-src=" />


Comme le dit le sous-titre, il manque les cheveux, et ce n’est pas un hasard.



Ça montre qu’il manque encore un poil (<img data-src=" />) de puissance pour arriver au 100% réaliste.



En même temps, ça temps à montrer que la démo. est sincère, parce qu’elle avoue ses limitations.


Le reste de la vidéo est intéressant aussi je trouve… mais pour ceux qui ont la flemme:

Le lien vers la partie de la vidéo avec la démo





Sachant que c’est géré par une demi carte graphique (Titan quand même) j’imagine qu’on peut arriver à des choses assez marrantes avec deux ou trois dans un même PC… Si on suit un bon rythme ce genre de technologie va être bon marché et grand public pour dans 4 à 5 ans… j’ai hâte :-)


Bah et TressFX alors ? <img data-src=" />








doom_Oo7 a écrit :



Bah et TressFX alors ? <img data-src=" />







Pff ! C’est has been les cheveux ! <img data-src=" />



Je trouve qu’ils n’ont pas encore totalement remontés la pente de l’uncanny valley, ça reste quand même un peu bizarre à regarder sauf quand il parle où ça devient carrément impressionnant et naturel (là, ils ont dû faire de la face capture sans rien retoucher).








Dacoco974 a écrit :



Je trouve qu’ils n’ont pas encore totalement remontés la pente de l’uncanny valley, ça reste quand même un peu bizarre à regarder sauf quand il parle où ça devient carrément impressionnant et naturel (là, ils ont dû faire de la face capture sans rien retoucher).







La démo en elle même c’est justement ce moment ou il parle hein, pas les séquences qui sont montrés avant (qui ne sont que des enregistrements bruts de l’acteur, pour le coup). Et c’est bien la le coeur de la démo: l’animation de la phrase est généré entièrement à partir des petits bouts d’expression montrés avant, l’acteur n’a pas été enregistré disant cette phrase.



C’est pas si réalisme que ça au final, dans Skyrim en modding il y a mieux.








Danytime a écrit :



C’est pas si réalisme que ça au final, dans Skyrim en modding il y a mieux.





Ste troll.



Bien qu’on soit encore loin d’être trompés par une simple vidéo, ça reste quand même hyper réaliste. Bien loin de Skyrim (même moddé).

D’ailleurs entre nous c’est prévisible, dans skyrim tu peux rendre tout le terrain + quelques personnages avec une carte standard. Là ils font le rendu d’un seul visage avec une carte hyper haut de gamme.









zzzZZZzzz a écrit :



Par contre pour chipoter, les oreilles sont carrément bizarres…







Oui, on dirait qu’il manque quelques polygones pour quelles soient farpaitement lisse (ou alors c’est l’éclairage qui donne cette impression)









Dacoco974 a écrit :



Je trouve qu’ils n’ont pas encore totalement remontés la pente de l’uncanny valley, ça reste quand même un peu bizarre à regarder sauf quand il parle où ça devient carrément impressionnant et naturel (là, ils ont dû faire de la face capture sans rien retoucher).





C’est surtout les dents qui cassent un peu le truc je trouve. Elles sont toujours trop blanches ou trop brillantes ou trop je ne sais quoi.



Mais bon ça va s’améliorer. Le problème c’est surtout qu’on ne sera pas capables d’avoir ça dans des jeux avant des années. D’une part à cause du coût de développement, et d’autre part parce qu’une seule carte est à peine capable de rendre un visage à l’heure actuelle, là ou dans les jeux il faut rendre tout l’environnement et des dizaines de corps complets (avec vêtements).

Il n’empêche qu’en tant que démo technique … c’est impressionnant.









Danytime a écrit :



C’est pas si réalisme que ça au final, dans Skyrim en modding il y a mieux.







On est déjà vendredi ?



C’est surtout le grain de la peau que je trouve impressionnant. Les mouvements ne sont pas encore convaincants, la bouche semble botoxée/en latex et les yeux en verre, ils manquent d’expression (contraction des pupilles peut-être?).



Mais bon la performance mérite d’être signalée, je suppose qu’il faudra encore beaucoup de travail avant d’avoir un rendu complètement réaliste.


Excellent en effet, les micro expressions faciales et leurs impacts sur le reste du visage apportent énormément de réalisme. Néanmoins, je suis toujours perturbé par les yeux du gars dans la démo, suis-je le seul à percevoir quelque chose de figé ou mécanique ?



C’est vraiment le seul point que je ne trouve pas complètement crédible, mais difficile d’en expliquer la raison, absence de micro mouvements de l’oeil ? Pas de dilatation des pupilles ?



A mon avis c’est la somme de tout ça qui rend les yeux mécaniques, enfin c’est un avis personnel !








Naunaud a écrit :



On est déjà vendredi ?





Non, je disais juste que ce n’est pas si impressionnant que ça pour ma part. Mais je peux comprendre que ça puisse émouvoir les amateurs du genre.



La 3D c’était génial au début, mais là ça devient nawak, tant d’efforts intellectuels qui déboucheront sur des jeux de guerre ou de zombies débiles.








Danytime a écrit :



Non, je disais juste que ce n’est pas si impressionnant que ça pour ma part. Mais je peux comprendre que ça puisse émouvoir les amateurs du genre.





<img data-src=" />



C’est vraiment impressionnant sinon. Je pense (j’espère) qu’on devrait avoir ça dans 5 ans (pour la prochaine génération de consoles, s’il y en a une).



J’y vois d’avantage la qualité de la (micro-motion) capture. Et pour le rendu ils balancent des données brutes (super gourmandes niveau mémoire) sur un morph-target.

Donc niveau hardware, ce que je vois c’est une bande passante de ouf.



Pour une application du type jeu vidéo, ont est encore loin (à moins de vouloir télécharger des jeux d’1TB, ET d’avoir RAM et disque qui puissent répondrent) .

Tant qu’il n’y aura pas un passage par une étape procédurale, cela restera inaccessible. J’entends par procédural un stockage des points de contrôle du skinning, et non de la position de chaque vertex comme ici.



Après pour le rendu, c’est cool, mais comme précisé plus haut, y a encore du travail sur le dents et surtout les yeux ; mais là c’est au niveau des shaders qu’il y a une lacune, j’ai personnellement toujours galéré dessus.



C’est incroyable ! La première vidéo montre les capacités d’une telle technologie.



Maintenant, je pense que le rendu de l’anime dans la vidéo, ne sera pas sur nos machines avant une bonne décennie.



Certes, c’est en progrès mais d’ici 5 ans, j’en doute personnellement.








DudeOlive a écrit :



Pour une application du type jeu vidéo, ont est encore loin (à moins de vouloir télécharger des jeux d’1TB, ET d’avoir RAM et disque qui puissent répondrent) .







Mais si tu ne met que les données du jeu et pas celles pour les super visages sur to SSD, tu as une immersion encore plus grande : tu te croirais dans un vrai film d’action







Enfin une reproduction fidèle du jeu d’acteur de Steven Seagal, la voix pleine d’émotion de Schwarzenegger, les micro mouvements et expressions du visage de Stallone !



<img data-src=" />









ErGo_404 a écrit :



C’est surtout les dents qui cassent un peu le truc je trouve. Elles sont toujours trop blanches ou trop brillantes ou trop je ne sais quoi.



Mais bon ça va s’améliorer. Le problème c’est surtout qu’on ne sera pas capables d’avoir ça dans des jeux avant des années. D’une part à cause du coût de développement, et d’autre part parce qu’une seule carte est à peine capable de rendre un visage à l’heure actuelle, là ou dans les jeux il faut rendre tout l’environnement et des dizaines de corps complets (avec vêtements).

Il n’empêche qu’en tant que démo technique … c’est impressionnant.







Si on va par là, ce sont plutôt les yeux qui sont bizarres, on dirait qu’il a deux yeux de verre <img data-src=" />



Sinon, dans LA Noire, on a des visages très bien animés mais les textures sont tellement pourries que ça casse tout le boulot fait sur l’animation.










iksarfighter a écrit :



La 3D c’était génial au début, mais là ça devient nawak, tant d’efforts intellectuels qui déboucheront sur des jeux de guerre ou de zombies débiles.





Ou bien, on va remplacer les visages des tueurs sur les vidéos… complot et tout ce qui suit avec <img data-src=" />



Très troublant parce que cela se rapproche de l’humain…


http://www.gizmag.com/zoe-talking-head-avatar/26716/



Ils utilisent bien moins de données. Et ça marcherait même sur téléphone.








sioowan a écrit :



http://www.gizmag.com/zoe-talking-head-avatar/26716/



Ils utilisent bien moins de données. Et ça marcherait même sur téléphone.







En même temps, absolument rien à voir en terme de fidélité et de possibilités avec la méthode présenté par Debevec et NVIDIA… <img data-src=" />



Peut-être, mais bien moins gourmand.








DudeOlive a écrit :



J’y vois d’avantage la qualité de la (micro-motion) capture. Et pour le rendu ils balancent des données brutes (super gourmandes niveau mémoire) sur un morph-target.

Donc niveau hardware, ce que je vois c’est une bande passante de ouf.



Pour une application du type jeu vidéo, ont est encore loin (à moins de vouloir télécharger des jeux d’1TB, ET d’avoir RAM et disque qui puissent répondrent)





<img data-src=" />









DudeOlive a écrit :



J’y vois d’avantage la qualité de la (micro-motion) capture. Et pour le rendu ils balancent des données brutes (super gourmandes niveau mémoire) sur un morph-target.

Donc niveau hardware, ce que je vois c’est une bande passante de ouf.



Pour une application du type jeu vidéo, ont est encore loin (à moins de vouloir télécharger des jeux d’1TB, ET d’avoir RAM et disque qui puissent répondrent) .







Je n’ai pas compris la même chose: dans la démo ils disent que l’ensemble des donnés de base (géométrie, textures, animations, etc) est compressé en 400MB.

Ces 400MB sont ensuite chargé intégralement en VRAM, il n’y a donc plus de contrainte de bande passante, toute l’opération de synthèse et de rendu se passant uniquement du coté GPU.

Il suffirait donc de 400MB pour chaque visage, si tu compte 3 à 5 personnages principaux dans un jeu vidéo c’est pas énorme, on arriverait à 1 ou 2GB de données, rien d’insurmontable à notre époque ou les jeux vidéo pèsent déjà 12GB…









manu28 a écrit :



Enfin une reproduction fidèle du jeu d’acteur de Steven Seagal, la voix pleine d’émotion de Schwarzenegger, les micro mouvements et expressions du visage de Stallone Nicolas Cage ou Keanu Reeves !



<img data-src=" />





<img data-src=" /> (ils sont carrément au dessus, sur ce plan là, amha)



Oui en effet, mais Stallone a pour lui un bug sur toute la partie inférieure du visage <img data-src=" />








divide a écrit :



Je n’ai pas compris la même chose: dans la démo ils disent que l’ensemble des donnés de base (géométrie, textures, animations, etc) est compressé en 400MB.





Une partie de ce volume est proportionnel à la durée des animations. Ici les animations se répètent mais si ton jeu a vingt heures de jeu d’acteur motion-capturé, ça doit représenter un joli volume de données pour l’animation du visage.









HarmattanBlow a écrit :



Une partie de ce volume est proportionnel à la durée des animations. Ici les animations se répètent mais si ton jeu a vingt heures de jeu d’acteur motion-capturé, ça doit représenter un joli volume de données pour l’animation du visage.







Il me semble que tu es passé à coté de la spécifité de cette capture: de ce que j’ai compris, toutes les animations que tu vois dans cette démo, y compris les 2 phrases à la fin, sont générés à partir des 30 expressions de bases qui ont été capturés au préalable.

Les 400MB permettent donc de générer un nombre infinis d’animations, en enchainant à la volée ces expressions.









iksarfighter a écrit :



La 3D c’était génial au début, mais là ça devient nawak, tant d’efforts intellectuels qui déboucheront sur des jeux de guerre ou de zombies débiles.





Que dire de l’invention de l’écriture alors <img data-src=" />









iksarfighter a écrit :



La 3D c’était génial au début, mais là ça devient nawak, tant d’efforts intellectuels qui déboucheront sur des jeux de guerre ou de zombies débiles.







Peut être, mais avec des zombies qui pourront exprimer plein d’émotions différentes, au point que tu ne verra pas la différence avec des vrais zombies !

C’est fou la technologie quand même <img data-src=" />