Depuis des années, 3DMark est une référence lorsqu'il s'agit d'analyser les performances de puces graphiques, que ce soit via des scènes globales, parfois multi-plateformes, ou des fonctionnalités en particulier. L'outil se renforce aujourd'hui avec des résultats qui se veulent plus « concrets ».
Lorsque l'on analyse les performances de composants informatiques, il y a en général deux approches. Utiliser des applications réelles en situation ou des benchmarks prêts à l'emploi
Mesurer les performances, c'est compliqué
Ces derniers ont l'avantage d'être simples, pouvant s'attarder sur tel ou tel aspect de la mesure, avec des résultats reproductibles. Mais ils ont parfois moins de sens.
Dans le cas de nos analyses de CPU sur 7-Zip par exemple, nous cumulons les deux approches : relever le temps mis pour compresser plusieurs fichiers de différentes tailles via un algorithme particulier. Le second est l'outil de mesure intégré à l'application, qui donne un score en MIPS (millions d'instructions par seconde).
Si ces scores peuvent s'afficher dans un graphique on comprend mieux l'intérêt de gagner 20 secondes que 3 000 MIPS.
3DMark veut des résultats plus utiles
Des outils comme 3DMark sont constamment soumis à cette contrainte. Ce qu'attendent nombre de leurs utilisateurs, c'est un score global. Il est vu comme une métrique à mettre en avant pour montrer la puissance d'une machine, à quel point on l'a poussé dans ses retranchements (aka le jeu de la plus grosse). Mais il a peu de sens.
C'est pour cela que nous relevons plutôt le score en images par seconde dans ces tests plutôt que le résultat global, ce qui permet au passage une meilleure finesse d'analyse. UL Benchmarks semble également consciente de ce problème et vient de publier une mise à jour de son outil phare devant rendre ses résultats plus palpables.
Ainsi, l'interface de résultat a été modifiée et, outre le score global et les ses sous-résultats, on a désormais droit à un qualificatif de ce score. Il est accompagné d'un graphique permettant de voir son positionnement par rapport à d'autres systèmes équivalents. Mais surtout, on peut avoir une estimation de performances dans plusieurs jeux.
Pour le moment, cinq sont présents : Apex Legends, Battlefield V, Fortnite, GTA V et Red Dead Redemption 2. Dans une équivalence avec une définition 1080p ou 1440p avec les réglages Ultra du jeu dans les deux cas. La 4K n'est pas encore proposée, le ray tracing désactivé quand il est disponible. D'autres titres seront ajoutés par la suite.
Prédire des résultats, mais avec précision
Il s'agit en effet d'un premier pas. L'équipe veut certainement voir comment sa communauté s'empare d'un tel outil avant de le faire évoluer selon les retours des jours à venir. Il lui faut aussi revoir ses procédures de travail.
En effet, pour obtenir ces équivalences, de nombreux tests sont conduits pour vérifier à quel résultat le score relevé peut aboutir dans les différents jeux, puis introduire cette règle au sein de l'application. Voici un exemple des données pour Apex Legends et Fortnite, montrant une certaine régularité :
Mais cela ne sera pas toujours le cas, car l'équilibre d'un moteur de jeu, de ses différentes scènes et celle des tests 3DMark n'est pas forcément le même en termes de calculs sur les shaders, la géométrie, les textures, etc. Ainsi, les écarts peuvent varier d'un titre à l'autre, d'une architecture de GPU à l'autre. C'est tout l'enjeu d'un tel outil.
Pour ceux que cela intéresse, une FAQ détaillée a été mise en ligne sur le sujet.
