Futuremark adapte ses benchmarks au X99 et dénonce la triche de Huawei

Futuremark adapte ses benchmarks au X99 et dénonce la triche de Huawei

Et ça continue, encore et encore...

Avatar de l'auteur
David Legrand

Publié dans

Logiciel

05/09/2014 2 minutes
34

Futuremark adapte ses benchmarks au X99 et dénonce la triche de Huawei

Suite à l'arrivée du nouveau chipset X99 et des processeurs Haswell-E sur le marché, Futuremark vient de publier une mise à jour pour ses outils de mesure de performances. Dans le même temps, la société continue de dénoncer la triche de certains fabricants, et a pénalisé l'Ascend P7 de Huawei.

De manière régulière, Futuremark met à jour son outil SystemInfo qui permet de récupérer des informations sur les composants de la machine et qui permet à ses benchmarks de fonctionner correctement. Avec la mouture 4.30 qui vient d'être publiée, le but est de supporter officiellement la nouvelle plateforme d'Intel basée sur le chipset X99 (voir notre analyse). En effet, sans cette mise à jour, ses outils plantent, ce qui peut être problématique.

 

Notez que cela ne change rien au score et que ce module séparé peut être téléchargé de manière indépendante de façon assez rapide, puisqu'il pèse moins de 3 Mo. 

 

Il y a quelques jours, la société avait déjà fait parler d'elle, mais pour un motif plus grave. En effet, il semblerait que certains constructeurs continuaient de tricher afin d'obtenir de meilleurs scores, ceux-ci servant souvent de sujet principal d'analyse et de comparaison parmi la multitude d'appareils mobiles sur le marché. Certaines marques se sont déjà fait prendre la main dans le sac, comme Samsung ou bien d'autres. Futuremark avait ainsi déjà exclu plusieurs modèles de ses résultats.

 

Aujourd'hui, c'est au tour de l'Ascend P7 de Huawei d'être visé et dénoncé dans une annonce publique. On y apprend que suite à un article d'Anandtech, la société a pu constater une augmentation du score de près de 30 % qui ne se constate pas lorsque l'application est renommée. Une pratique interdite par les règles de 3DMark imposées aux constructeurs. En effet, détecter un logiciel spécifique par son nom est une manière de ne pas refléter l'usage rencontré dans d'autres applications largement utilisées au quotidien, tout en maximisant ses chances d'être en tête des comparatifs et de faire le buzz en amont de l'arrivée du produit sur le marché.

 

Espérons que cela serve de leçon à Huawei, mais aussi aux testeurs et autres éditeurs d'outils de mesure de performances qui doivent rester vigilants face à de telles pratiques.

Écrit par David Legrand

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Fermer

Commentaires (34)


C’est du dopage numérique <img data-src=" />


Comme si on pouvait se fier à ces tests


Y’a pas free qui faisait un truc comme ça en favorisant les sites comme speedtest ?








Ddrimene a écrit :



Y’a pas free qui faisait un truc comme ça en favorisant les sites comme speedtest ?





Numéricable (ils ont même leur propre serveur speedtest à Massy).









Ddrimene a écrit :



Y’a pas free qui faisait un truc comme ça en favorisant les sites comme speedtest ?





on est vendredi toussa toussa <img data-src=" />



Au lieu de simplement exclure les appareils, ils devraient les laisser avec une mention “tricheur” bien visible de tous, ça serait plus dissuasif.








sebcap26 a écrit :



Au lieu de simplement exclure les appareils, ils devraient les laisser avec une mention “tricheur” bien visible de tous, ça serait plus dissuasif.







pas bête en effet

C’est pire pour l’image de marque.

Après attention aux éventuels poursuite…. :-/









Ddrimene a écrit :



Y’a pas free qui faisait un truc comme ça en favorisant les sites comme speedtest ?







Ca me rappelle ma mésaventure d’il y a 2 mois.

J’étais devant mon bureau de banque à attendre désespérément qu’une pauvre page web s’ouvre sur mon Note3 (recherche google mettant 4mn à repondre (montre en main), l’accès au fofo d’HFR a mis 8mn montre en main)), je me décide à vérifier la H+ qui me narguait en haut à droite de mon appareil.



Ni une, ni deux, je lance speedtest, et là, le verdict tombe =&gt; j’ai 9Mb en download mais je ne peux afficher une seule page web avant de m’endormir d’ennui.



Du coup, je me dis que j’aimerai un VPN directement relié à l’adresse de Speedtest histoire d’avoir mieux qu’un quart de la puissance de la data EDGE avec Free.



*edit: oui, je ne suis pas Parisien ni résidant des 10 plus grosses villes de France.

*edit2: mon histoire se termine bien car après plus de 15mn dans la rue, j’ai pu accéder à mes MP du fofo pour faire mon virement extérieur.









feuille_de_lune a écrit :



on est vendredi toussa toussa <img data-src=" />





Nope, ça a été démontré.



30% ! Les mecs sont pas discrets en même temps… Un petit 10% c’est déjà plus filou.



Les gars du marketing doivent tellement mettre de pression que certains développeurs doivent craquer… <img data-src=" />








Pepes003 a écrit :



Ca me rappelle ma mésaventure d’il y a 2 mois.

J’étais devant mon bureau de banque à attendre désespérément qu’une pauvre page web s’ouvre sur mon Note3 (recherche google mettant 4mn à repondre (montre en main), l’accès au fofo d’HFR a mis 8mn montre en main)), je me décide à vérifier la H+ qui me narguait en haut à droite de mon appareil.



Ni une, ni deux, je lance speedtest, et là, le verdict tombe =&gt; j’ai 9Mb en download mais je ne peux afficher une seule page web avant de m’endormir d’ennui.



Du coup, je me dis que j’aimerai un VPN directement relié à l’adresse de Speedtest histoire d’avoir mieux qu’un quart de la puissance de la data EDGE avec Free.



*edit: oui, je ne suis pas Parisien ni résidant des 10 plus grosses villes de France.

*edit2: mon histoire se termine bien car après plus de 15mn dans la rue, j’ai pu accéder à mes MP du fofo pour faire mon virement extérieur.









Tu n’es pas Parisien mais moi si, et malgré un iPhone 5s affichant 4 points sur 5 en 4G, rechercher “toto” sur google prenait 20 à 30s, google maps impossible …

Je suis retourné chez Bouygues moins de 8 jours après mon arrivée chez Free.



PS: ça date de juillet 2014 ! Pas des 1ères semaines de Free



<img data-src=" />



Y a pas besoin d’être Futurmark pour voir les tricheurs.

Un simple bench Onscreen vs Offscreen permet de voir les tricheurs. Quand tu vois les différences délirantes sur ces tests, c’est pas trop compliqué.



Quand un Smartphone a un écran de 1080p, qu’ils soit Off ou On screen, il est censé obtenir… le meme score !



Mais c’est normal, les Chinois ont bien compris que le seul truc qui occupe l’esprit, c’est le rapport puissance / prix, ils affichent le score que les utilisateurs veulent voir, meme si c’est au prix de petits arrangements.


En même temps ce genre de petit logiciel oblige les fabricants à tricher, gare à ceux qui se font/feront prendre le doigt dans le pot de confiture.








metaphore54 a écrit :



En même temps ce genre de petit logiciel oblige les fabricants à tricher, gare à ceux qui se font/feront prendre le doigt dans le pot de confiture.





<img data-src=" /> pourquoi obliger ? Tu fais des téléphones pourris c’est ton problème, pas celui des editeur de ce logiciel.



Après, faut toujours le répéter mais le bench donne un ordre d’idée, mais le mieux c’est de voir la fluidité dans les menus etc. (surtout sur Android avec les surcouche <img data-src=" />)









athlon64 a écrit :



<img data-src=" /> pourquoi obliger ? Tu fais des téléphones pourris c’est ton problème, pas celui des editeur de ce logiciel.



Après, faut toujours le répéter mais le bench donne un ordre d’idée, mais le mieux c’est de voir la fluidité dans les menus etc. (surtout sur Android avec les surcouche <img data-src=" />)







Le but est d’être adopté et les performances sont mis dans certains tests et pris pour argent comptant par beaucoup d’acheteurs influant de smartphone. Donc si tu veux vendre il montrer que ce soit vrai ou non que ton appareil est très bon en performance.









metaphore54 a écrit :



Le but est d’être adopté et les performances sont mis dans certains tests et pris pour argent comptant par beaucoup d’acheteurs influent de smartphone. Donc si tu veux vendre il montrer que ce soit vrai ou non que ton appareil est très bon en performance.





oui donc le problème n’est pas le logiciel, mais les acheteurs et les constructeurs qui veulent toujours faire moins cher (pas cher c’est trop cher). Suivant les tests, tu en as qui te mettent les Bench, ca te donne un ordre de grandeur. Mais quand ils testent l’interface, la fluidité, la ils précisent généralement si ca va ou non. Faut pas juste lire un tableau de bench, mais les tests en entier. De plus, si une personne fait une recherche de test pour un produit, tu peux aussi trouver des avis de consommateurs qui te décrivent plus facilement l’usage quotidien.









dam78 a écrit :



Tu n’es pas Parisien mais moi si, et malgré un iPhone 5s affichant 4 points sur 5 en 4G, rechercher “toto” sur google prenait 20 à 30s, google maps impossible …

Je suis retourné chez Bouygues moins de 8 jours après mon arrivée chez Free.



PS: ça date de juillet 2014 ! Pas des 1ères semaines de Free



<img data-src=" />







Les 4 points sur 5 se réfèrent à ta connexion pour les appels par la connexion pour la data. Enfin sauf si je me trompe. Du coup tu ne peux pas estimer ta connexion avec ça.









athlon64 a écrit :



oui donc le problème n’est pas le logiciel, mais les acheteurs et les constructeurs qui veulent toujours faire moins cher (pas cher c’est trop cher). Suivant les tests, tu en as qui te mettent les Bench, ca te donne un ordre de grandeur. Mais quand ils testent l’interface, la fluidité, la ils précisent généralement si ca va ou non. Faut pas juste lire un tableau de bench, mais les tests en entier. De plus, si une personne fait une recherche de test pour un produit, tu peux aussi trouver des avis de consommateurs qui te décrivent plus facilement l’usage quotidien.







<img data-src=" /> c’est son fond de commerce à ce logiciel, dire qu’il n’y est pour rien, c’est assez amusant. C’est lui le pousse au crime. Les devs de ce logiciel sont aussi coupable que les fabricants, les testeurs et les acheteurs.









metaphore54 a écrit :



<img data-src=" /> c’est son fond de commerce à ce logiciel, dire qu’il n’y est pour rien, c’est assez amusant. C’est lui le pousse au crime. Les devs de ce logiciel sont aussi coupable que les fabricants, les testeurs et les acheteurs.





oui il permet d’avoir les perfs brutes d’une machine, il ne se prétend pas te dire si ton téléphone sera optimisé et si il sera fluide. Si tu vois que le score est au niveau d’un Samsung Galaxy Sx par exemple, alors normalement ca devrait être fluide. Mais le mieux reste le test en utilisation réelle et pas juste se fier a un bench. Les gens devraient un peu réfléchir.



Personnellement, je m’y connais très peu en système audio, je demande donc a mes connaissances qui s’y connaissent plus et cherchent pas mal sur Internet. (Bon Ok, y a pas de logiciels de bench, mais sur le principe c’est le même, recouper les tests et pas se fier juste a une “fiche technique”)



C’est quoi cette histoire de renommage ?


oui, il faut vraiment que Huawei revoie la façon de détecter qu’un benchmark est en cours. Le nom de l’application, c’est trop basique !

<img data-src=" />








Inny a écrit :



Nope, ça a été démontré.





Le <img data-src=" /> c’est la manière de le sortir :) À partir du moment où un bench est pris pour référence, tous tricheront de manière plus ou moins discrète.









Ddrimene a écrit :



Y’a pas free qui faisait un truc comme ça en favorisant les sites comme speedtest ?







J’habite dans une zone où l’on reçoit peu… selon les cas !

Souvent le tel affiche un joli H comme type de connexion mais impossible d’obtenir la moindre data… Il suffit de lancer un speedtest et, ho magie, la data est rétablie pour un temps…



… maintenant, est-ce Free ou l’antenne orange sur laquelle je suis ?









YesWeekEnd a écrit :



J’habite dans une zone où l’on reçoit peu… selon les cas !

Souvent le tel affiche un joli H comme type de connexion mais impossible d’obtenir la moindre data… Il suffit de lancer un speedtest et, ho magie, la data est rétablie pour un temps…



… maintenant, est-ce Free ou l’antenne orange sur laquelle je suis ?





Pareil, tant que j’ai le H+ pas de soucis, mais dès que ça tombe en H ou pire, en 3G, c’est fini, pas la moindre donnée (et je détaille pas pour le E c’est uniquement décoratif).









Kethounet a écrit :



C’est quoi cette histoire de renommage ?





Et bien dans leur tel, ils mettent un petit bout de code du style:



if nom_de_lappli_kitourne==“benchmark_machin” then



  processeur.tourne\_a\_fond(); // durée de vie de la batterie: 1h   



else



  processeur.tourne\_normal(); // durée de vie de la batterie: 8h   



end



Et si tu renomme l’appli “benchmark_machin” en “facebook” ou “toto” par exemple, ben tu retrouve le vrai score du mode normal du processeur.



Ce genre de test ne veut rien dire sans rapporter les résultats à l’autonomie : combien de temps le bench peut-il tourner est une information précieuse et qui mettrait à mal les tricheurs.



Ensuite le résultat ne reflète en rien sur la fluidité et la réactivité de l’appareil (honnêtement mon téléphone ne me sert pas a lancer des calculs mais bien à passer de l’appli mail à Facebook et revenir sur NXi)








Toea a écrit :



[…]





D’acc’ou’d’acc, merci bien.









arcetnathon a écrit :



Y a pas besoin d’être Futurmark pour voir les tricheurs.

Un simple bench Onscreen vs Offscreen permet de voir les tricheurs. Quand tu vois les différences délirantes sur ces tests, c’est pas trop compliqué.



Quand un Smartphone a un écran de 1080p, qu’ils soit Off ou On screen, il est censé obtenir… le meme score !



Mais c’est normal, les Chinois ont bien compris que le seul truc qui occupe l’esprit, c’est le rapport puissance / prix, ils affichent le score que les utilisateurs veulent voir, meme si c’est au prix de petits arrangements.





Non. Le rendu Onscreen est généralement plus rapide que le rendu Offscreen. Le GPU ne le traite pas de la même façon.









Arnaud3013 a écrit :



Les 4 points sur 5 se réfèrent à ta connexion pour les appels par la connexion pour la data. Enfin sauf si je me trompe. Du coup tu ne peux pas estimer ta connexion avec ça.





Bonjour,

Ce serait complétement con alors qu’il t’affiche H ou H+ ou 3G ou 4G vu qu’une simple connexion 2G permet de passer un appel. Cette distinction de bande est justement intéressante pour du débit de data !





Toea a écrit :



Et bien dans leur tel, ils mettent un petit bout de code du style:

if nom_de_lappli_kitourne==“benchmark_machin” then



  processeur.tourne\_a\_fond(); // durée de vie de la batterie: 1h   



else



  processeur.tourne\_normal(); // durée de vie de la batterie: 8h   



end

Et si tu renomme l’appli “benchmark_machin” en “facebook” ou “toto” par exemple, ben tu retrouve le vrai score du mode normal du processeur.





<img data-src=" /> pour l’explication <img data-src=" />









MasterDav a écrit :



Numéricable (ils ont même leur propre serveur speedtest à Massy).





Ils le font toujours ?









Zulgrib a écrit :



Ils le font toujours ?





Ca m’étonnerait… Sur ma connexion 100 Mbps descendant, speedtest m’indique 4.89 Mbps… Et je tourne souvent entre 10 et 20 Mbps.

Pourtant j’ai bien le débit : j’ai déjà approché le maximum sur des torrents bien actifs.









vampire7 a écrit :



Ca m’étonnerait… Sur ma connexion 100 Mbps descendant, speedtest m’indique 4.89 Mbps… Et je tourne souvent entre 10 et 20 Mbps.

Pourtant j’ai bien le débit : j’ai déjà approché le maximum sur des torrents bien actifs.





Merci









Arnaud3013 a écrit :



Les 4 points sur 5 se réfèrent à ta connexion pour les appels par la connexion pour la data. Enfin sauf si je me trompe. Du coup tu ne peux pas estimer ta connexion avec ça.









digital-jedi a écrit :



Bonjour,

Ce serait complétement con alors qu’il t’affiche H ou H+ ou 3G ou 4G vu qu’une simple connexion 2G permet de passer un appel. Cette distinction de bande est justement intéressante pour du débit de data !







Les bandes c’est lié à la qualité du signal (rapport signal sur bruit, force…). A la base rien a voir avec de la data ou autre. C’est juste un indicateur de la qualité de la connection avec l’antenne.



Il me semble nénamoins que en 4G, la modulation fluctue en fonction de la qualité de signal pour offrir plus débit ou plus de robustesset.









dam1605 a écrit :



Les bandes c’est lié à la qualité du signal (rapport signal sur bruit, force…). A la base rien a voir avec de la data ou autre. C’est juste un indicateur de la qualité de la connection avec l’antenne.





Sauf que de la 2G suffit et a toujours suffi pour passer un appel sans perturbations. Les autres bandes sont arrivées pour augmenter la bande passante et le débit et permettre de la data.