En marge de ses activités, NVIDIA finance de nombreuses recherches pour préparer son avenir, mais également trouver de nouveaux débouchés à ses produits. Cela donne des résultats parfois étonnants comme lorsqu'il s'agit de recréer Pac-Man et ses règles. Aujourd'hui, l'entreprise présente son GANverse3D.
L'idée de ce projet, détaillé dans une publication scientifique, est de permettre la création d'un modèle en 3D depuis une simple photo. Un réseau de neurones antagonistes génératifs (GAN) est entrainé dans ce but et semble y réussir avec certains types d'objets. Plusieurs exemples donnés concernent des voitures, mais il est aussi question d'animaux.
On imagine bien entendu les débouchés pour la société qui travaille depuis longtemps à la modélisation d'environnements réalistes pour entrainer ses véhicules autonomes via Drive Sim. On pense aussi à son Omniverse où l'on peut travailler en équipes à la conception d'environnements virtuels. Et pourquoi pas aux jeux vidéo, lorsque l'on voit des titres comme Flight Simulator où la photogrammétrie est utilisée pour reproduire la planète entière.
NVIDIA dit avoir utilisé les images de 55 000 voitures pour l'entrainement de son IA et avoir fait face à de nombreux problèmes pour aboutir au résultat actuel. Sa solution serait capable de traiter plusieurs éléments au sein d'une même image ou une seule sélectionnée. Des démonstrations seront faites à l'occasion de prochaines conférences.
Commentaires (19)
#1
Ça fait très très longtemps que j’attends ce genre de programme, c’est génial que ça se concrétise enfin ^^
S’ils en sont déjà là aujourd’hui, j’ai surtout hâte de voir ce que ça donnera dans 2⁄3 ans ;)
#2
C’est super pour rendre la modélisation accessible à tous.
Je me demande s’il existe la même chose où on prendrait sur différents angles une photo d’un objet pour le reconstituer en 3D. Quelqu’un a déjà entendu parler de ça ?
Du coup sans entraînement d’IA avec une unique photo.
#3
Ca existe bien depuis un moment. La technique diffère de celle de l’article:
https://i.materialise.com/blog/en/how-to-make-a-3d-printed-object-from-a-photo-in-5-easy-steps/
C’est à partir de beaucoup de photo et un temps de calcul proportionnel au nombre de photo et d’angle foireux (ou flou de bougé). Mais bien fait; ça marche.
Ici effectivement il n’y a qu’une seule photo , donc il faut combler les trous. Un voiture étant symétrique on peut reconstituer le deuxième coté. Je pense que cette solution aura du mal avec tout ce qui n’est pas symétrique ou pourra avoir des problèmes avec 2 symétries.
Un arbre (avec des branches biscornues et zone cachées) donnera du fil a retordre j’imagine.
#4
Y’a de monstrueux outils concernant cette méthode, la photgrammétrie, qui fonctionnent à merveille.
https://alicevision.org/#meshroom en est un et est top
#5
Attention aux programmes qui bouchent les trous, ça me rappelle ce programme qui agrandit les images, et qui a mis le visage de Ryan Gosling (ou quelqu’un de ressemblant) à une fenêtre.
#6
Oh merci ! j’en avais cherché pendant un moment mais je ne tombais que sur des logiciels mal foutus ou bridés à cause de version payante.
#7
Oui Meshroom gagne à être connu. Il existe d’autres programme issus des universités americaines mais Meshroom est clairement le plus abouti. Ça marche assez bien avec des photos prises au drone, qui permet une bonne qualité de prises de vues avec sa mobilité dans l’espace aérien. Pour des modélisations d’objet au sol il faut faire plus d’efforts pour avoir les bonnes photos. Perso je me suis payé le logiciel russe Agisoft Metashape à 180€ je ne regrette pas ça reste simple et c’est beaucoup plus efficace que Meshroom https://www.agisoft.com/buy/online-store/
Les amateurs de logiciels open-source peuvent commencer à travailler avec Meshlab qui ressemble à un Paint du modèle 3d, mais pas si mainstream que ça. Il me semble aussi que Cloudcompare propose de bons outils utilisables dans un cadre professionnel.
#8
Pour le sujet de l’article je reste assez sceptique sur l’intérêt d’une modélisation 3d à partir d’une seule image. C’est comme réécrire Victor Hugo à partir d’un mot.
#9
Je t’avoue que je suis photographe amateur, je ne mets pas 200e dans un logiciel de photogrammétrie ;) ce n’est pas dans mes moyens.. (j’ai pu les mettre quand j’avais un travail dans du matos photo et un logiciel photo mais c’est tout).
Après, vu ce que j’ai fait avec meshroom, je trouve le résultat très convenable même si pas si simple ;)
#10
Il y à forcément des impératif du style prendre le bon angle de vue et partir du principe que l’objet est symétrique. A mon avis il y à aussi un traitement de l’exif qui permet d’extrapoler certaines info et de devenir la taille de l’objet.
Pour la faire courte avec l’ia c’est le même raisonnement que l’ont fait dans notre tête. Certains sont capable de modéliser une voiture via un simple dessin. Il y à même des techno qui permette de faire une pause dans une vidéo et tourner la caméra, recréer les matériaux avec réfraction + diffraction.
De toute façon même avec le logiciel du monde et / ou un scanner 3D pour un objet non organique comme une voiture il est absolument impensable de l’utiliser tel quel dans un jeu. Mais c’est une très bonne bas pour la modélisation, il suffit de remplir les contours.
#11
C’est ça que je cherchais 😉. Et là si ajoute un peu de deep learning on pourrait sans doute simplifier encore le process notamment pour la partie “nettoyage” sur autodesk.
#12
Oui 200€ c’est cher. La photo aussi c’est cher c’est une passion on pourrait dire. J’utilise encore Picasa pour trier mes photos, je ne trouve rien de gratuit aussi rapide, et payant je ne trouve rien. Tu as des conseils pour moi ?
#13
Ça a l’air intéressant pour des pièces de décoration mais je doute qu’on puisse faire l’impasse d’un passage par un logiciel de CAO pour la “remise à l’échelle” d’une pièce à usage “mécanique”.
#14
Pour le tri et développement de photos, il y a Darktable qui est un logiciel libre.
#15
Le logiciel que je préfère pour le tri et l’organisation des photos, c’est Shotwell.
Malheureusement, seule la version Linux est digne d’intérêt.
#16
Complément d’information : Dans l’absolu une intelligence artificielle serait capable d’écrire un quart d’un livre de victor hugo rien qu’avec le titre et un synopsis d’une dizaine de lignes. Pour ça il faudrait la nourrir avec tout ce qu’il à écrit au par avant et lu aussi.
Après je pense que la véritable puissance de intelligence artificielle c’est de pouvoir reconnaitre un objet. Ensuite ce n’est qu’une question de lien. Par exemple si l’ia est capable de reconnaitre le modèle d’une voiture alors il est possible de faire une requête au constructeur et d’importer un modèle officiel.
N’oublions pas que pour tout ce qui tout “l’irl” en 3d nous passons notre temps à réinventer la roue et à l’enfermer dans un coffre. Le fait d’avoir une ouverture sur les modèles permet de gagner énormément de temps.
#17
Perso je me sers de Digikam
#18
#19
Merci pour vos nombreuses références de logiciels de tri photo je vais regarder ça avec la plus grande attention