GTC 2021 : de Drive Concierge aux AI avatars, NVIDIA fait des dizaines d’annonces

Ce matin s'ouvrait l'édition de fin d'année de la GTC de NVIDIA. Un évènement où le constructeur montre sa présence et ses initiatives sur de nombreux marchés. Au risque de parfois nous perdre tant il y a à dire.

Comme à son habitude, NVIDIA a tiré tous azimuts à l'occasion de sa GPU Technology Conference (GTC) organisée en cette fin 2021. À tel point qu'il devient difficile de suivre la valse des communiqués et billets de blog sur les dizaines de frameworks mis à jour, projets qui évoluent et autres produits annoncés.

L'entreprise se présente désormais comme « full stack » avec ses nombreux produits et ses 150 SDK :

Des avatars au profit du métavers, mais pas que

« Hype » du métavers oblige, il était forcément question du projet Omniverse sur laquelle la société travaille depuis plusieurs années. Elle veut ainsi montrer qu'un tel univers numérique ne pourra se concevoir sans ses produits et solutions logicielles qui ont été pensés pour un travail collaboratif dans des environnements virtuels.

Notre dossier sur la GTC Fall 2021 de NVIDIA :

• GTC 2021 : de Drive Concierge aux AI avatars, NVIDIA fait des dizaines d'annonces
• NVIDIA dévoile son Jetson AGX Orin : Ampere, 12 cœurs ARM Cortex-A78, disponible début 2022
• NVIDIA passe à 400 Gb/s : le switch Quantum-2 est là, les cartes ConnectX-7 début 2022

On a donc droit à des « AI avatars » et autres solutions pour des assistants conversationnels. On a même vu un double de Jen Hsun Huang faire la conversation avec sa voix (robotique) pour faire la démonstration du Project Tokkio qui a d'autres objectifs comme l'intégration à des kiosques de commande dans les restaurants par exemple. 

Le tout repose sur le modèle Megatron 530B de NVIDIA mais aussi Riva pour la reconnaissance vocale, Merlin pour la recommandation de produits, Metropolis pour la reconnaissance visuelle et le traitement vidéo et Audio2Face pour l'animation de l'avatar, un projet déjà largement évoqué précédemment.

Il a aussi été question de la manière dont on simule le monde réel à travers des environnements entièrement virtuels. Un sujet sur lequel la société travaille là aussi depuis de nombreuses années que ce soit dans le domaine de l'automobile pour l'entrainement de ses véhicules autonomes (Drive Sim) ou la robotique (Isaac Sim).

Elle veut faciliter l'accès à ces technologies à travers son Omniverse Replicator qui doit aider à générer des données pour les diverses simulations. Elle utilise d'ailleurs cet outil avec ses deux plateformes désormais. On apprend au passage qu'Omniverse compte désormais 700 clients en entreprise et a été téléchargé 70 000 fois. 

L'offre Omniverse Enterprise est d'ailleurs en disponibilité générale (GA), gagnant au passage en fonctionnalités et en partenariats, avec Bentley iTwin pour la visualisation « 4D », qui est proposée en accès anticipé. Omniverse Enterprise est proposé à travers un réseau de partenaires mais peut être essayé gratuitement pendant 30 jours.

Différentes démonstrations ont été effectuées avec Sony Ericsson (5G) ou Lockheed Martin (lutte contre les incendies). NVIDIA a également vanté l'intérêt du format USD présenté comme le « HTML de la 3D », bien que créé par Pixar et géré par différentes entreprises plutôt qu'un organisme comme le W3C, font remarquer certains.

Jen Hsun Huang a annoncé à la fin de la conférence que le supercalculateur Cambridge-1 serait notamment utilisé pour la création d'un « digital twin » de... la terre pour des simulations sur le changement climatique.

Du côté de l'automobile, Drive Orin arrivera bientôt dans des véhicules commerciaux annonce NVIDIA, via la plateforme Hyperion 8. Baidu, Kodiak Robotics, Lotus, QCraft, Plus et WM Motor sont annoncés comme partenaires. Côté démonstration, c'est Drive Concierge qui a assuré le show, pour changer la manière d'assister le conducteur.

On retrouve ici des fonctionnalités classiques, comme le garage assisté ou les conseils de conduite, mais via une assistance vocale et sous la forme d'un avatar qui veulent reproduire la présence d'un chauffeur en humanisant ces solutions.

Des mises à jour et améliorations en pagaille

On a également eu droit à des annonces plus techniques, avec Modulus (qui est une extension de SimNET) pour des modèles de machine learning reproduisant la physique, ou dans l'informatique quantique, avec cuQuantum (en bêta publique) pour simuler de tels systèmes en réduisant drastiquement les temps de calcul grâce à une batterie de GPU. Une appliance DGX sera d'ailleurs proposée à cet effet début 2022.  

Le serveur d'inférence Triton passe en version 2.15 supportant désormais une inférence distribuée multi-GPU et multi-nœuds, les processeurs ARM, avec une intégration à AWS SageMaker et Alibaba Cloud, etc. On apprend également que Microsoft Teams utilisera désormais les solutions IA de NVIDIA pour la traduction en temps réel des conversations dans 28 langues à travers Triton et les Azure Cognitive Services. 

Mais on a aussi droit à une mise à jour de RAPIDS, le DOCA SDK 1.2 qui évolue à la sauce Zero Trust pour les DPU, cuNumeric, ReOpt pour l'optimisation de trajets et autres cours en ligne. Tout est détaillé dans la Developer Zone. Un programme Launchpad est également mis en place avec Equinix (notamment à Paris) pour soutenir les starturps et leu permettre un déploiement aisé si jamais leur service décolle et qu'elles ont besoin de « scale » rapidement.

Vous retrouverez l'ensemble de la conférence d'ouverture de la GTC ci-dessous :