Au SIGGRAPH, NVIDIA vante sa recherche et prépare ses améliorations de performances

Comme chaque année, le SIGGRAPH est l'occasion pour les acteurs de l'industrie graphique d'évoquer leurs dernières découvertes et autres améliorations dans le domaine du rendu 3D. NVIDIA ne fait bien entendu pas exception et présente plusieurs de ses travaux en cours.

Si l'on connait NVIDIA pour ses cartes graphiques et autres solutions pour datacenter, la société dispose également de plusieurs équipes de recherche qui travaillent dans des domaines divers et variés. Une manière de préparer le futur de ses solutions de rendu 3D, mais aussi des applications exploitant ses produits à travers l'IA. 

NVIDIA se répand grâce à ses recherches

On se souvient en effet des démonstrations faites récemment dans le domaine de la visio-conférence, où Jen Hsun Huang promettait des modèles pouvant renforcer la compression pour éviter l'altération d'une image en raison d'un faible débit, retravailler l'angle d'un visage en temps réel, afficher un avatar animé plutôt que votre visage, etc.

Encore récemment, la société évoquait ses travaux sur la traduction de textes anciens avec l'aide d'IA spécifiques. C'est aussi de ces projets de recherche que NVIDIA tire une partie du travail fait autour du ray tracing, de DLSS et de solutions plus triviales comme certaines fonctionnalités de Broadcast ou l'application Canvas. Sans parler de tout ce qui s'applique à l'automobile, la robotique et le domaine du médical où NVIDIA s'étend ces dernières années. 

Accélérer encore le Path/Ray tracing et l'illumination globale

Pour cette édition 2021 du SIGGRAPH, plusieurs articles ont été publiés et seront présentés en détail lors du salon. Certains se focalisent sur l'application du ray tracing à des éléments complexes d'une scène, comme des nuages, des surfaces poussiéreuses, des animaux et leurs poils, etc.

L'idée est ici de trouver des astuces permettant d'obtenir un résultat final correct tout en se focalisant sur certains chemins empruntés par la lumière ou la manière de les calculer avec un estimateur de transmittance (le coefficient de transmission d'un système optique) ou ReSTIR GI (Path Resampling for Real-Time Path Tracing).

Déjà évoquée en juin dernier, le Neural Radiance Caching (NRC) vise à mettre en cache les radiance samples mais de manière automatisée, à travers un modèle issu d'un réseau de neurones spécialement entraîné pour cela et appliqué via les Tensor Cores d'une GeForce RTX. Il en résulte une image plus précise avec des performances plus ou moins similaire à la méthode ReSTIR seule selon les chercheurs.

Il n'y à alors plus qu'à appliquer un denoising plus léger pour obtenir l'image finale. Le temps nécessaire pour effectuer un rendu avec la même qualité d'image est divisé par 13,6 en moyenne entre la méthode avec ReSTIR seul ou avec NRC. On pourrait ainsi imaginer un scénario où NVIDIA utiliserait cette approche pour obtenir un même niveau de précision mais avec de bien meilleures performances.

La solution est déjà utilisée pour quelques tests en interne, une démonstration avec un tigre animé en temps réel en utilisant le Neural Radiance Cache avec une illumination globale (voir la vidéo ci-dessous).

Citons également Neural Reflectance Field Textures (NeRF-Tex) visant à rendre plus efficace le rendu de textures complexes, une simplification des modèles 3D automatique pour gérer leur affichage selon le niveau de détail nécessaire, qui peut évoluer selon le point de vue de la scène, le Neural Scene Graph Rendering ou encore StrokeStrip pour transformer du dessin à main levée en courbes. 

Des annonces ce soir, des présentations à découvrir

NVIDIA organise à 17h une conférence où il sera fortement question de son outil collaboratif Omniverse, ce qui lui permet de surfer sur la vague du Metaverse qui agite la « sphère tech » ces dernières semaines. Avec des annonces attendues. Mais d'autres présentations et démonstrations seront faites sur le salon.

Le programme se trouve ici, certains évènements nécessitent une inscription au SIGGRAPH, d'autres non. Notez que plusieurs sessions vidéo sont déjà accessibles à tous sont déjà en ligne. Là aussi, Omniverse est omniprésent, avec des démonstrations sur la manière dont il peut être utilisé pour la reconstitution et le rendu photoréaliste de la peau, des cheveux, des yeux et d'un visage dans son ensemble avec les Omni Surface Material. 

Mais aussi la création de créatures,  la gestion de la physique, les outils de collaboration, le Material Definition Language (MDL) et le Material Graph Editor (MGE). Vous pouvez aussi en apprendre plus sur la physique au sein de l'Universal Scene Description (USD), le nouvel Nsight Deep Learning Designer pour optimiser et simplifier le travail sur les réseaux neuronaux ou encore les avancées de CloudXR pour la réalité augmentée/virtuelle.

Notez enfin qu'une démonstration est spécialement mise en avant : AI-Driven Digital Avatar Made Easy​, issue d'un article publié par Ting-Chun Wang, Arun Mallya et Ming-Yu Liu. En pratique, il s'agit d'une solution de visio-conférence à faible bande passante (seul le flux audio est envoyé), avec l'animation en temps réel d'un avatar (créé depuis une photo ou stylisé), selon le contenu du texte lu. Une petite vidéo de présentation est disponible ici.

Un visage photoréaliste pouvant être sec ou mouillé. 29 secondes et 4x A6000 sont nécessaires pour le rendu final en 4K