DLSS, FSR, XeSS, et maintenant MetalFX, mais qu’est-ce donc ?

Alors que le DLSS 3.5 fait parler de lui sur la sortie miraculeuse du Cyberpunk 2077 2.0 (=4154 ?), qu’AMD rattrape son retard avec le FSR 3.0, qu’Intel confirme être dans la course avec son XeSS, Apple prend pour cible ces constructeurs avec une balle chemisée métal, MetalFX pour être plus précis. On termine avec une interview de Stéphane Quentin de NVIDIA.

Intéressons-nous d’abord à la face émergée de l’iceberg ; qu’est-ce que le Super Sampling ? Si vous êtes un tant soit peu « gameur » vous avez entendu parler de ces technologies capables de donner un coup de turbo au nombre d’images par seconde affichées dans un jeu.

Pour arriver à un tel miracle, les cartes graphiques calculent le rendu dans une définition inférieure, par exemple du 720p, puis par une dose d’intelligence artificielle, d’algorithmes et (pour certaines) de transistors, affichent du 1080p, 2K ou 4K a priori sans altérer la qualité graphique. C’est en quelque sorte l’upscaling de votre téléviseur, mais appliqué à une image calculée en temps réel, ce qui est un brin plus velu.

Voilà pour les généralités, passons maintenant aux cas individuels.

Le Deep Learning Super Sampling au secours du Ray tracing

Avec la série des RTX 2000 sortie en 2018, NVIDIA introduit le Ray Tracing. Cette technologie de calcul de la lumière en temps réel impressionne, mais entame largement le nombre d’images par seconde (le framerate). Le Deep Learning Super Sampling sorti peu après (quel heureux hasard) atténue ce défaut, mais n’est pas encore au point visuellement dans sa version 1.0. L’IA s’améliore avec le temps jusqu’à faire une avancée notable avec la Série 4000 et le DLSS 3.0.

Ces cartes apportent le frame generation, donc de la génération d’images par interpolation afin de rehausser encore le framerate. Cette technologie est toutefois inaccessible aux séries 3000 et antérieures, car le OFA (Optical Flow Accelerator), donc les unités vérifiant la cohérence de l’image, ne sont pas en nombre suffisant sur les cartes.

Ces images générées par l’IA créent aussi une latence en grande partie compensée par le système Reflex. En passant au DLSS 3.5, NVIDIA sort un as de sa manche, et cette fois les précédentes générations de cartes sont de la partie :  le Ray Reconstruction. Une photo valant mieux qu’un long discours, vous constatez ci-dessous la finesse des détails et le gain de vitesse dus au RR. Il s’agit d’une capture officielle du constructeur, mais cette vidéo de Digital Foundry valide le bond que vient de faire NVIDIA en matière de qualité de rendu.     

AMD répond avec Fidelity FX Resolution, Intel avec Xe Super Sampling 

L’explication des technologies suivantes s’annonce plus brève, car elles visent peu ou prou les mêmes résultats. Le Fidelity FX Resolution ou FSR d’AMD est la réponse du berger à la bergère. Cette solution de mise à l’échelle est uniquement logicielle, contrairement à celle de NVIDIA (nous y revenons dans l’interview ci-dessous), mais a le mérite d’être open source et compatible avec toutes les cartes graphiques.

Si les débuts provoquaient quelques artefacts ou aberrations, AMD a amélioré son algorithme jusqu’à enrichir sa version 3.0, sortie récemment, du Fluid Motion Frames, l’équivalent du Frame Generation, ainsi que de l’anti-lag afin de compenser la latence.

Le Xe Super Sampling d’Intel se rapproche du DLSS, car il utilise à la fois l’accélération matérielle et un algorithme. Il se montre déjà convaincant, mais cet outsider doit mener plusieurs batailles de front : s’imposer sur un marché autrefois réservé à NVIDIA et AMD, ainsi qu’augmenter son catalogue de jeux compatibles. En effet, quelle que soit la technologie, y avoir recours est un choix propre aux développeurs.

C’est pour cette raison que DLSS, FSR et XeSS peuvent se retrouver dans un même titre s’il a été décidé d’implémenter les trois. À vous le bonheur de passer du temps dans les menus pour observer à la loupe le résultat le plus adapté à votre configuration. Un temps qui ne sera pas perdu. Le DLSS à une longueur d’avance sur la finesse des textures, mais le FSR et l’intel XeSS ne déméritent pas, autant sur le rendu que sur le framerate.

Notez au passage que le recours à ces technologies n’a rien d’obligatoire, la majorité des jeux s’en passent et ne sont pas moches pour autant. Mais le Ray Reconstruction et l’arrivée de nouveaux moteurs graphiques rebattent les cartes et annoncent de belles batailles entre ces trois géants.

Apple entre dans la danse avec MetalFX

Trois ? N’avons-nous pas oublié une multinationale un brin imposante qui débarque sur ce marché avec la finesse d’un éléphant dans un magasin de porcelaine ? Lors de sa keynote WWDC 2022, Apple a dévoilé une technologie de mise à l’échelle nommée MetalFX, susceptible de rivaliser avec celle de NVIDIA et Cie grâce à son A17 pro. Engoncée dans son autosatisfaction, la firme à la pomme se voit déjà au coude à coude avec la PlayStation 5.

Certes les puces présentées chaque année affolent les benchmarks et nul doute qu’Apple est capable de telles prouesses, mais le catalogue de la pomme se réduit à Assassin’s Creed Mirage, Resident Evil Village (Capcom vient d’annoncer Resident Evil 4 pour le 20 décembre sur iOS), et The Division Resurgence pour des périphériques qui ne garantissent pas la meilleure jouabilité. Il faudra alors les connecter à un écran plus grand, mais ça, c’est une autre histoire que nous n’allons pas aborder dans ce texte bien plus long que ce qui était prévu initialement.     

Envisageons maintenant l’avenir avec Stéphane Quentin, connaisseur passionné et passionnant des GPU et chargé de la communication chez NVIDIA depuis près de 20 ans, un « détail » à garder en tête à la lecture de cet entretien.

Le DLSS combine software et hardware, pouvez-vous nous refaire un point sur le sujet ?

Bien sûr. Nous avons entrainé sur nos data centers un réseau neuronal pour que l’inférence, donc le programme déployé en local sur votre machine, exploite ces données. Mais pour cela elle utilise une partie hardware de nos cartes graphiques : les Tensor Cores. En continuant à entrainer ce réseau de neurones, on l’améliore, on le met à jour vers des versions supérieures, et on lui ajoute des fonctions.

Aujourd’hui, avec une technologie comme le Ray Tracing ou mieux encore, le Path Tracing, donc l’accumulation des effets Ray Tracing, la charge graphique est telle que la puissance brute des cartes ne suffit plus sans le support du réseau neuronal, donc le DLSS. On arrive aujourd’hui avec le DLSS 3.5 et le Ray Reconstruction à obtenir des images reconstituées avec de l’IA aussi belle, voir supérieure, à un rendu brut.

God Of War, Horizon Forbidden West (etc.), sont superbes et sont architecturés autour de cartes AMD, avec, au mieux, du FSR.

Ces jeux sont magnifiques parce qu’ils sont élaborés par de grandes équipes de développeurs talentueux capables d’utiliser tout le potentiel des anciens moteurs. Un coût faramineux pour obtenir de superbes lumières et des textures qui ne le sont pas moins.

C’est donc une question de direction artistique, mais aussi de moyens. On rentre désormais dans une nouvelle génération de moteur avec par exemple l’Unreal Engine 5, ou le Northlight Engine d’Alan Wake 2 incluant le path tracing. Ce travail de la lumière et des textures est rendu beaucoup plus accessible. À partir d’un bon matériau de base, car on ne fournit jamais que des outils, on peut avoir un résultat stupéfiant pour beaucoup moins d’investissement en temps et en argent.

Le développement de jeu vidéo va-t-il s’envisager autrement ?

En effet, le pipeline de rendu va s’en trouver bouleversé. Pour information, quand vous jouez à Cyberpunk en DLSS 3.5, quasiment 80 % des pixels sont générés par l’IA. Ainsi, le moteur du jeu utilise toujours les CUDA cores, donc l’architecture classique pour calculer l’image en 720p ou 1080p, mais les unités d’IA travaillent en parallèle pour à la fois la fluidité et le rendu d’image. 

La conception même des cartes graphiques change en conséquence, les Tensor Cores prennent davantage d’importance.

En effet, sur les séries 40, la principale augmentation en termes de transistor est sur les Tensor Core. Le Neural rendering est l’élément clé qui va être le plus important dans le futur. D’autant que l’on va sortir du cadre du jeu. L’IA de votre PC ou celle installée en local dans les softs, comme Copilot présenté récemment par Microsoft, puisera des ressources dans les Tensor Cores.

Ce regain de puissance nous a valu une flambée de l’étiquette de prix, il faut s’attendre à cela pour la génération suivante ?

Aujourd’hui, nous avons 16 fois plus d’opérations par pixels sur un Cyberpunk en path tracing que sur le Battlefield de 2018. Si on s’était focalisé sur les anciennes technologies de rendu, le prix du GPU aurait été affolant.

Pour la série 3000, nous avions choisi Samsung qui gravait alors en 8 nm, ce qui était inférieur à la compétition et permettait de réduire le prix. Mais sur la 4000 nous avons voulu intégrer 80 milliards de transistors pour présenter les nouvelles technologies dont nous parlons, ce qui n’a pas été possible sans une hausse de coût.

Quel sera le prix de la 5000, je ne le sais pas. Est-ce que l’on passera en 3 nm ? Quel sera le coût de ses wafers ? Pour l’instant, je n’en sais rien.         

Revenons au présent et par exemple Starfield, sorti uniquement compatible avec le FSR, au grand dam de la communauté PC qui l’a rapidement intégré via un hack. C’est une opération si peu compliquée ?

C’est un peu plus dur qu’un simple copié collé de DLL, mais oui, ce n’est pas bien compliqué, surtout que nous avons un outil dédié à cela et un autre qui peut même intégrer le DLSS, FSR et XeSS. Il n’y a donc aucune raison technologique pour qu’un jeu privilégie un système plus qu’un autre.

J’ai bien dit « technologique »… Ça a d’ailleurs été le débat sur Starfield, puisqu’il n’y avait pas de raison d’écarter notre système. Nous avons une avance qui s’explique simplement par le fait que nous entrainons l’IA depuis plus longtemps, donc on lèse les joueurs en ne la proposant pas.

Dans l’univers console, seul Nintendo utilise NVIDIA sur une puce qui date de Mathusalem. Même si Big N ne se bat pas sur le terrain technologique, il vous observe pour la Switch 2. Des infos à ce sujet ?

Bien essayé, mais no comment !