Suite à l'arrivée du nouveau chipset X99 et des processeurs Haswell-E sur le marché, Futuremark vient de publier une mise à jour pour ses outils de mesure de performances. Dans le même temps, la société continue de dénoncer la triche de certains fabricants, et a pénalisé l'Ascend P7 de Huawei.
De manière régulière, Futuremark met à jour son outil SystemInfo qui permet de récupérer des informations sur les composants de la machine et qui permet à ses benchmarks de fonctionner correctement. Avec la mouture 4.30 qui vient d'être publiée, le but est de supporter officiellement la nouvelle plateforme d'Intel basée sur le chipset X99 (voir notre analyse). En effet, sans cette mise à jour, ses outils plantent, ce qui peut être problématique.
Notez que cela ne change rien au score et que ce module séparé peut être téléchargé de manière indépendante de façon assez rapide, puisqu'il pèse moins de 3 Mo.
Il y a quelques jours, la société avait déjà fait parler d'elle, mais pour un motif plus grave. En effet, il semblerait que certains constructeurs continuaient de tricher afin d'obtenir de meilleurs scores, ceux-ci servant souvent de sujet principal d'analyse et de comparaison parmi la multitude d'appareils mobiles sur le marché. Certaines marques se sont déjà fait prendre la main dans le sac, comme Samsung ou bien d'autres. Futuremark avait ainsi déjà exclu plusieurs modèles de ses résultats.
Aujourd'hui, c'est au tour de l'Ascend P7 de Huawei d'être visé et dénoncé dans une annonce publique. On y apprend que suite à un article d'Anandtech, la société a pu constater une augmentation du score de près de 30 % qui ne se constate pas lorsque l'application est renommée. Une pratique interdite par les règles de 3DMark imposées aux constructeurs. En effet, détecter un logiciel spécifique par son nom est une manière de ne pas refléter l'usage rencontré dans d'autres applications largement utilisées au quotidien, tout en maximisant ses chances d'être en tête des comparatifs et de faire le buzz en amont de l'arrivée du produit sur le marché.
Espérons que cela serve de leçon à Huawei, mais aussi aux testeurs et autres éditeurs d'outils de mesure de performances qui doivent rester vigilants face à de telles pratiques.
Commentaires (34)
#1
C’est du dopage numérique " />
#2
Comme si on pouvait se fier à ces tests
#3
Y’a pas free qui faisait un truc comme ça en favorisant les sites comme speedtest ?
#4
#5
#6
Au lieu de simplement exclure les appareils, ils devraient les laisser avec une mention “tricheur” bien visible de tous, ça serait plus dissuasif.
#7
#8
#9
#10
30% ! Les mecs sont pas discrets en même temps… Un petit 10% c’est déjà plus filou.
Les gars du marketing doivent tellement mettre de pression que certains développeurs doivent craquer… " />
#11
#12
Y a pas besoin d’être Futurmark pour voir les tricheurs.
Un simple bench Onscreen vs Offscreen permet de voir les tricheurs. Quand tu vois les différences délirantes sur ces tests, c’est pas trop compliqué.
Quand un Smartphone a un écran de 1080p, qu’ils soit Off ou On screen, il est censé obtenir… le meme score !
Mais c’est normal, les Chinois ont bien compris que le seul truc qui occupe l’esprit, c’est le rapport puissance / prix, ils affichent le score que les utilisateurs veulent voir, meme si c’est au prix de petits arrangements.
#13
En même temps ce genre de petit logiciel oblige les fabricants à tricher, gare à ceux qui se font/feront prendre le doigt dans le pot de confiture.
#14
#15
#16
#17
#18
#19
#20
C’est quoi cette histoire de renommage ?
#21
oui, il faut vraiment que Huawei revoie la façon de détecter qu’un benchmark est en cours. Le nom de l’application, c’est trop basique !
" />
#22
#23
#24
#25
#26
Ce genre de test ne veut rien dire sans rapporter les résultats à l’autonomie : combien de temps le bench peut-il tourner est une information précieuse et qui mettrait à mal les tricheurs.
Ensuite le résultat ne reflète en rien sur la fluidité et la réactivité de l’appareil (honnêtement mon téléphone ne me sert pas a lancer des calculs mais bien à passer de l’appli mail à Facebook et revenir sur NXi)
#27
#28
#29
#30
#31
#32
#33
#34