Réalité virtuelle, vidéos : plein feux sur la production des contenus à 360° chez Facebook

La conférence F8 de Facebook est terminée, et elle a été riche en annonces. Les réalités augmentée et virtuelle ainsi que la Messenger Platform 2.0 étaient les briques les plus importantes, mais l’éditeur n’en avait pas terminé avec la VR. Il a notamment présenté deux nouvelles caméras à 360°.

Durant son premier jour de conférence F8, Facebook n’avait abordé la réalité virtuelle que pour discuter de Spaces. Ces derniers sont des espaces virtuels – logique – dans lesquels les utilisateurs interagissent via des casques Oculus, et prochainement Gear VR (Samsung). Ils peuvent alors discuter, dessiner, lancer des vidéos, des conférences avec d’autres contacts et ainsi de suite. L’idée est de donner l'impression aux personnes qu’elles sont dans la même « pièce ».

Mais si certains trouvaient que l’entreprise s’était montrée plutôt légère dans ce domaine, c’est qu’elle n’avait pas tout dit. On se rappelle qu’elle avait lancé l’année dernière une première caméra à 360°, nommée Surround 360. Cette fois, elle en a présenté deux.

Des caméras x6 et x24, en fonction des capacités… et du budget

C’est Mike Schroepfer, directeur technique de Facebook, qui a présenté hier les nouveaux modèles. Ils sont nommés x6 et x24 pour une raison simple : elles embarquent 6 ou 24 caméras, contre 17 pour la version originale.

Dans les grandes lignes, les deux caméras proposent le même type de fonctionnalité. Filmer dans toutes les directions, avec un déplacement sur six axes de liberté (6DoF). Un point important pour produire une immersion virtuelle, l’utilisateur pouvant avancer, reculer et regarder tout autour de lui. Du 360 degrés donc.

La seule différence entre les deux versions est le nombre de caméras. Elles filment toutes deux en 8K, mais l’une est plus maniable que l’autre. La capture « volumétrique » permet également de calculer la profondeur de champ, ce qui doit permettre aux créateurs de contenus de jouer avec l’image, en remplaçant par exemple des montagnes par une plage. Chaque pixel est ainsi considéré comme un objet 3D, avec son propre niveau de profondeur.

Ces caméras ont été développées en interne par la section « Area 404 » de l’entreprise, sous la supervision de Brian Cabral, transfuge de NVIDIA. Il s’agit donc d’une architecture propriétaire, alors que la solution Surround 360 tablait en partie sur de l’open source. Contrairement à cette dernière cependant, il ne s’agit pas de monter soi-même le matériel, mais d’acheter directement les deux nouveaux modèles.

Rendre plus accessible la capture à 360°... mais sans donner de prix

Les x6 et x24 sont plus petites que la Surround 360 d’origine et s’affichent avec un aspect nettement plus « fini ». Pour Facebook, elles sont également plus accessibles que le matériel concurrent, notamment de la société Lytro, spécialiste du domaine. Facebook affiche une réelle volonté de populariser des expériences virtuelles plus riches, dans lesquelles on pourrait se déplacer librement et examiner les décors sous tous les angles. L’entreprise indique d’ailleurs que c’est la production des contenus qui assurera le succès de ces expériences.

L’entreprise ne compte pas vendre directement ces deux nouveaux modèles. Les plans et technologies embarquées seront fournis – sous forme de licences – à des partenaires qui s’en chargeront, à des tarifs non précisés. Il s'agit donc de la grande inconnue pour l'instant.  Rappelons d'ailleurs que la première Surround 360, bien que disponible en open source via un dépôt GitHub, nécessitait pas moins de 30 000 dollars de composants.

Notez en tout cas que Facebook est déjà en relation avec d’autres entreprises comme Adobe, Otoy, Foundry, Mettle, DXO, Here Be Dragons, Framestore, Magnopus ou encore The Mill pour que leurs outils soient adaptés à ces nouveaux produits.

Un nouveau SDK 360 pour les développeurs

Capturer le contenu n’est pas suffisant. Facebook veut également faciliter sa manipulation et sa production.

L’éditeur propose donc un nouveau SDK, baptisé 360 Capture. Une solution tout-en-un pour réunir les images et produire le contenu que l’on pourra observer dans toutes les directions. Mais au lieu de s’appuyer sur la méthode classique qui consiste à « coudre » ensemble les images, le SDK propose plutôt la technique du cube mapping, à savoir la projection des pixels sur les six faces d’un cube.

Le SDK peut être utilisé aussi bien pour la vidéo à 360° que la production de contenus de réalité virtuelle. Il instaure des qualités minimales selon la sortie choisie, à savoir du 1080p à 30 images par seconde pour une publication dans le flux et de la 4K à 90 images pour la VR. Le SDK est compatible par ailleurs avec plusieurs moteurs de jeux, mais Facebook ne cite pour l’instant que l’Unreal Engine et Unity.

Dernier point important, le SDK est open source et disponible sous licence BSD.

• Dépôt GitHub du SDK 360 Capture

Un travail d’optimisation et de prédiction sur les vidéos à 360°

Parallèlement à la réalité virtuelle, Facebook travaille sur la vidéo à 360°, tant pour ses propres besoins que les outils proposés aux développeurs.

L’éditeur s’est attelé à plusieurs tâches liées à l’optimisation des contenus à 360°. Ils posent des contraintes spécifiques, notamment le poids parfois très conséquent des fichiers. Les ingénieurs ont plusieurs angles d'attaque. D’abord avec des solutions « évidentes », comme une meilleure progression. Ensuite avec des techniques plus complexes.

Facebook dispose en fait d’une « heat map » des endroits les plus souvent regardés dans une vidéo à 360°. La société se sert de ce modèle de base pour en construire un autre, prédictif, en utilisant son infrastructure d’apprentissage profond. Cette prédiction permet ensuite de passer les nouvelles vidéos à la moulinette pour en déduire les endroits qui pourraient être les plus regardés.

Pourquoi une telle opération ? Tout simplement pour chercher où concentrer la précision. Un plus grand nombre de pixels sera ainsi préservé durant la compression autour d’objets qui ont de fortes chances d’attirer le regard, comme un surfeur se déplaçant sur l’océan, ou globalement tout objet en mouvement dans un décor fixe : un passant, une voiture, un oiseau, etc.

Des changements qui prendront du temps

Malgré tous les efforts de Facebook sur la réalité virtuelle et plus globalement sur tout ce que l’on peut regarder à 360°, ces expériences mettront du temps à entrer dans les usages. Pour beaucoup, elles vont se limiter encore un certain temps aux panoramas que l’on aperçoit parfois dans le flux, par exemple quand un ami emménage et souhaite afficher l’intérieur de son nouvel appartement.

Mais ces capacités sont simples à exploiter parce qu’elles sont créées depuis un smartphone. Les thématiques abordées par Facebook hier sont différentes, puisqu’elles évoquent les expériences immersives, et donc conçues pour des casques. Ce qui signifie des équipements spécifiques, tant pour visualiser le contenu dans des conditions idéales que pour le produire. Une production qui reste encore limitée et coûteuse.

De la même manière qu’elle souhaite généraliser l’usage des bots en les rendant plus simples d’accès, Facebook tâche donc de simplifier autant que possible cette production, via de nouveaux équipements, des technologies et des SDK. Il va falloir maintenant que les développeurs et éditeurs répondent présents, ce qui ne pourra aller de pair qu’avec une progression des ventes de casques plus accessibles. Un équilibre délicat entre offre et demande.

Notre dossier sur la F8 2017 :

• Face aux World Lenses de Snapchat, Facebook dégaine Camera Effects et ses Spaces
• Facebook : la Messenger Platform 2.0 veut conquérir le monde avec ses bots
• Connectivité : Facebook mise sur les ondes millimétriques pour les courtes et longues distances
• Réalité virtuelle, vidéos : plein feux sur la production des contenus à 360° chez Facebook
• F8 : Facebook fonce sur l'open source pour les développeurs, Workplace plus mûr