Imaginez être en déplacement, mais faire travailler vos équipes pour créer une conférence vidéo que vous n'aurez pas à tourner ? Ou une visioconférence sans avoir de webcam sur votre machine, à travers une connexion à très bas débit. NVIDIA y travaille.
Au SIGGRAPH, NVIDIA a fait de nombreuses annonces sur ses projets de recherches, l'évolution de ses outils ou même sa nouvelle RTX A2000. On devine également une tendance nette chez la société : elle veut nous faire rentrer dans un monde de la communication en ligne avec des intervenants réalistes... mais virtuels.
Même en vacances, le PDG de NVIDIA peut animer des conférences
Premier exemple et pas des moindres : la manière dont Jen Hsun Huang a été modélisé en 3D (ainsi que sa désormais célèbre cuisine) pour être utilisé numériquement lors de la conférence de la dernière GPU Technology Conférence (GTC). De la gestuelle aux moindres détails de son visage en passant par sa manière de parler. Pas de quoi tenir toute une conférence face caméra, mais les étapes se franchissent petit à petit.
Comme avec son projet « Digital Mark », l'entreprise veut montrer que l'on entre dans une ère où il est possible d'effectuer des rendus photoréalistes de scènes entières, et que ses outils permettent de les concevoir. Elle précise d'ailleurs que tout le travail effectué sur la GTC a été réalisé via Omniverse, désormais ouvert aux développeurs.
Pour appuyer le propos, elle diffuse une vidéo promotionnelle d'une trentaine de minute revenant sur la conception de l'ensemble des éléments de la conférence et le travail mené par ses équipes pendant plusieurs mois.
Digital Mark : un humain modélisé en 3D, configurable, photoréaliste
La visioconférence sans webcam est-elle le futur ?
Ces évolutions rejoignent d'autres travaux de l'entreprise, sur l'animation de modèle 3D à partir d'un flux audio à travers Audio2Face, de réduction du poids des visioconférences, avec la possibilité de retravailler l'angle ou les gestuelles d'un visage en temps réel via vid2vid. Cela l'a mené à une seconde démonstration qui pourrait changer la donne.
En effet, la société se propose d'utiliser une simple photo d'un intervenant et de l'utiliser pour créer un avatar numérique, qui serait animé selon les propos tenus, avec des mouvements du visage devant donner l'impression qu'il s'agit d'une prise de vue via une caméra, alors que ce n'est pas le cas. L'intérêt est évident en termes de bande passante puisque seul le flux audio est transféré, tout le travail d'animation étant traité localement par le GPU.
Dans la vidéo diffusée, on voit ainsi un utilisateur se présenter en costume et rasé de près, alors qu'il est en t-shirt avec un masque cachant le bas de son visage. L'avatar recréé cligne des yeux, n'est pas statique, et ne se fait finalement trahir que par des mouvements de la bouche encore un peu mécaniques, pas totalement réalistes. On l'imagine ainsi assez mal réagir correctement si l'utilisateur se met à rire aux éclats par exemple.
De quoi s'assurer que vos enfants ne seront pas exposés lorsqu'ils débarquent dans la pièce. On peut aussi choisir d'utiliser un avatar moins réaliste, avec un style de dessin ou de peinture, différents effets, etc. Autre fonctionnalité, pouvant être utilisée en cas de souci de micro mais qui pourrait également intéresser les personnes muettes ou souffrant de certains handicaps : reproduire une conversation vocale depuis du texte en animant l'avatar.
Prévenir dès maintenant les risques d'une telle technologie
L'ensemble est prometteur, avec une limite : comme toujours, un tel usage peut être détourné. On imagine par exemple une personne se faisant passer pour le PDG d'une entreprise, un homme politique ou tout simplement vous, dans un but malveillant, sur la base d'une simple photo. Ou d'un adulte qui se ferait passer pour un enfant.
De quoi relancer les discussions sur la manière dont on s'assurera que l'IA sera mise à notre service sans pour autant devenir une arme de confusion massive. Car en la matière, une chose est sûre : elle a du potentiel.
Commentaires (25)
#1
Même si cela envoie vers la mauvaise voie, il me semble difficile à terme d’éviter une notion d’identité numérique certifiée (clé pub/priv) afin de s’assurer de qui participe ou qui correspond dans les confs (un peu à la manière de PGP ou autres certificats/clés asymétriques dans les emails)
#2
Oui on en viendra forcément à de telles solutions, même si ça ne protègera pas de tout. Mais l’important à mon sens, c’est qu’on s’en préoccupe avant que ces technologies ne se généralisent. Parce que si on gère aussi bien que les protections dans le domaine de l’email, on est mal
#3
Le monsieur il a oublié des trucs dans sa liste : https://youtu.be/__Za-BP20eM?t=9
Il manque un coiffeur / maquilleur
On sent en revanche que ça marche pas mal, mais que le visage n’est pas très naturel (au niveau des yeux, de la bouche). La voix aussi, d’ailleurs. On sent la différence.
#4
Oui il y a encore des ratés. Mais il y a quelques années on ne pensait qu’on en serait sans doute pas là si vite (en vrai c’est presque exploitable en l’état) et ça ira sans doute assez vite à corriger une bonne partie des problèmes. Mais si on anticipe pas, on va se retrouver avec une évolution technologique aux implications potentiellement problématiques et rien pour en encadrer les dérives. Tant qu’à y passer des années de débat parlementaire, autant commencer maintenant
PS : les remarques sur le style/physique, c’est nul
#5
Je ne comprends pas ce passage “ L’intérêt est évident en termes de bande passante puisque seul le flux vidéo est transféré, tout le travail d’animation étant traité localement par le GPU.”
C’est le flux vidéo qui est gourmand en BP, le traitement GPU n’a rien à voir la dedans…
Ou alors faut il comprendre envoi de l’image statique vers un cloud (économie de BP), puis traitement GPU externalisé, et envoi du flux vidéo généré aux autres participants (tant pis pour leur BP) ?
#6
Flux audio, fixed ;)
#7
Merci je me sens moins bête
#8
Je me suis amusé il y a quelques temps à tester la solution d’avatarify: https://github.com/alievk/avatarify-python, j’ai réussi à bluffer des amis car il est adapté pour de la visio en temps réel, il ne manquait plus qu’un outil de clonage de voix pour que ça devienne inquiétant…
La vidéo de démo est ici: https://www.youtube.com/watch?v=lym9ANVb120
#9
Ah bah voilà.
Enfin une technologie non raciste, ça modélise bien les asiatiques…
Mais quid des femmes ??
Plus sérieusement, c’en est limite flippant. On est vraiment rentré dans une société où on ne peut plus croire meme ce qu’on voit. St Thomas doit se retourner au paradis…
#10
Je pense qu’il y a erreur sur la capture d’écran. Là c’est le vrai PDG. C’est quelques secondes plus tard dans la vidéo qu’il y a le personnage numérisé. Et ça se voit, parce qu’on dirait une cinématique de PS3…
#11
J’avais put discuter avec la responsable du projet de la CNIe, et s’ils n’avaient pas mis de certificat RGS sur la CNIe, c’est uniquement pour ne pas préempter le marché privé du certificat RGS pour personne physique…
C’est quand même dommage d’avoir raté ce coche pour de la signature locale ou de l’authentification sans besoin d’interroger france connect -_-
#12
La capture est une simple illustration, c’est effectivement le vrai JHH, le lien vers le passage de la conférence concerné est dans l’article.
#13
Tu peux continuer de croire ce que tu vois (sauf pour les cas type prestidigitateur 😅). Le problème est la confiance en ce qui t’est montré. Il est très important de bien séparer les choses. La médiation permanente de la vision par un appareil de prise d’image, et ensuite par un écran (en gros) ne devrait jamais être l’unique preuve d’une quelconque vérité. Encore plus lorsqu’entre l’appareil de prise de vue et l’écran se trouve de l’ « IA »
#14
“Prévenir dès maintenant les risques d’une telle technologie”
Pas plus que l’invention de la photo, vidéo, enregistreur de son ou je ne sais quoi…
#15
Pour les femmes ? Simple, un seul avatar blonde à forte poitrine pour retenir l’attention de tous les mâles lors des réunions
#16
bonjour ,
“ Prévenir dès maintenant les risques d’une telle technologie ” : Prévenir de quoi ça fait déjâ bien longtemps que l’on connait les risques ( exemple le politicien avec son hologramme si vous voyez de qui je parle) le problème n’est pas que l’ORATEUR soit un l hologramme ou une digitalisation/numérisation le problème c est surtout que l’AUDITOIRE ai suffisamment de jugeote pour ne pas boire ses paroles comme du petit laid…
A bon entendeur, salut !
PS Pour ceux qui connaissent pas la définion de cette vielle expression :
https://fr.wiktionary.org/wiki/%C3%A0_bon_entendeur_salut
#17
À propos d’expressions, on a :
boire les paroles de
et
se boire comme du petit-lait
mais pas les 2 mélangés ni petit laid !
#18
Il va falloir trouver un Saint qui ne croit que ce qu’il touche pour l’ajouter au proverbe.
#19
Tous les prêtres peuvent prétendre au titre alors
#20
Anticiper et commencer des débats parlementaires maintenant ? C’est pas le truc qu’on n’a jamais été capable de faire sur le climat par exemple (vu qu’on parle du réchauffement depuis au moins les années 1970… Et on ne fait toujours rien (et quand on fait, on annule tout ça parce qu’élections, tout ça tout ça))
Pour le coup, je n’ai strictement rien contre sa coiffure :) mais qu’il me fasse pas croire qu’il fait ça tout seul tous les matins :)
Je sens que je vais m’amuser avec la version desktop : https://github.com/alievk/avatarify-desktop
Merci
#21
Et comme ça n’a rien à voir avec le sujet, on se passe bien de ce genre de réflexions :)
#22
Je n’ai pas critiqué le présentateur (je trouve qu’il présente bien), mais son inventaire de ce qui fait un bon avatar virtuel … Nuance :)
Et je pense que si, c’est fort à propos : à partir du moment où tu peux (pourra) virtualiser n’importe qui, se faire une meilleure image de soi alors se posera forcément la question de l’apparence.
D’une part, le maquillage, la coiffe sont tout aussi important. Et j’imagine qu’une étape supérieure sera d’embellir la réalité.
D’autre part, c’est justement ce que présente la vidéo : une personne masquée, habillé en mode casual, qui fait croire qu’elle n’est pas masquée et habillée en costume/etc. Bref : une société d’apparence.
Sinon la technologie n’a d’intérêt que la réduction de bande passante utilisée.
#23
La dualité des apparences n’est pas propre à l’existence d’un monde virtuel ;)
#24
Peut-être, mais je ne sais pas pourquoi, je doute qu’il y ait beaucoup de personnes qui choisissent ce genre d’avatar virtuel : https://www.youtube.com/watch?v=jkxim5f2yas (à part éventuellement pour Halloween^^)
#25