3DMark : une nouvelle version pour Android qui exclut les tricheurs

Quand on fait des bêtises, il ne faut pas se faire pincer

3DMark : une nouvelle version pour Android qui exclut les tricheurs

Par Damien Labourot

Le 26 Novembre 2013 à 10h11
Société numérique
3 min 25

3DMark : une nouvelle version pour Android qui exclut les tricheurs

Futuremark vient de publier une nouvelle version de 3DMark pour Android. Estampillée 1.2.01232, celle-ci apporte quelques améliorations qui permettent une comparaison plus simple entre les différents terminaux. Mais la société en profite surtout pour supprimer les terminaux qui sont suspectés d'avoir triché pour maximiser leurs scores.

Au début du mois, Ars Technica dévoilait que Samsung trichait ouvertement dans les benchmarks avec son Galaxy Note 3. S'en est suivait alors un bilan complet chez AnandTech qui montrait que le géant coréen n'était pas le seul à abuser de telles pratiques, mais que d'autres constructeurs faisaient de même avec la plupart de leurs terminaux haut de gamme.

3DMark pour Android : de nouvelles options et des tricheurs en moins

Ensuite ce sont les développeurs qui ont commencé à réagir en publiant de nouvelles versions de leurs applications de mesure de performances, comme pour Basemark X, alors qu'AnTuTu promettait un tout nouvel outil. Futuremark, qui nous avait à l'époque indiqué s'être penché sur le problème, n'avait pas encore réagit. C'est désormais chose faite.

 

3DMark Android 3DMark Android

 

La société vient en effet de publier une nouvelle version de 3DMark pour Android qui est disponible sur le Play Store de Google. On peut voir que quelques améliorations sont présentes du côté du « Device Channel ». Tout d'abord, chaque système d'exploitation (Android, iOS, Windows) est affublé d'une couleur différente (bleu, vert ou violet) permettant une identification plus rapide, mais aussi d'effectuer des tris plus simplement. En outre, un meilleur support des puces NVIDIA et de certains Galaxy SIII de Samsung est de la partie.

 

Mais le plus intéressant avec cette nouvelle mouture est que les terminaux qui ont été identifiés comme « tricheurs » avec des scores trop élevés ont été retirés de la liste du « Device Channel ». Futuremark ne donne aucun exemple concret de terminal impacté, ni de détails sur sa procédure, mais l'on peut voir que les LG G2 ou Galaxy Note 3 de Samsung ont disparu des premières places du classement. 

 

3DMark Android

 

On retrouve à la place des smartphones comme le Galaxy S4 Advanced, les Xperia Z Ultra et Z1 de Sony avant la Kindle Fire HDX d'Amazon, qui sont tous équipés d'une puce Snapdragon 800 de Qualcomm. Viennent ensuite la SHIELD de NVIDIA (Tegra 4) ou encore le Nexus 5 (voir notre test). Cependant, un écart de plus de 1000 points sépare encore le smartphone haut de gamme de Samsung et celui de Google alors qu'ils disposent du même matériel... ce qui laisse à penser qu'un abus est peut-être encore de la partie.

 

Reste maintenant à savoir si Futuremark a ajouté un mécanisme de protection contre les abus des constructeurs ou si la base de données sera mise à jour régulièrement pour démasquer les éventuels fraudeurs. Nous avons interrogé la société pour en savoir plus.

Commentaires (25)


Vanilys
Le 26/11/2013 à 10h23

Normal.

Je trouve déplorable les tricheries de Samsung et consorts pour grapiller des points.

Si je puis me permettre, ils feraient mieux de consacrer toute cette énergie à réellement optimiser leur OS, au lieu d’aller à la course au hardware et à la course aux benchmarks …



D’autres OS, comme Windows Phone, n’ont pas besoin d’une telle débauche de puissance pour être fluides… <img data-src=" />



Enfin, heureusement il semble que les nouvelles versions d’Android soient au fur et à mesure plus optimisées. Mais nécessitent quand même une puissance de base plus importante.


Charly32
Le 26/11/2013 à 10h29

Honnêtement, j’achète pas un smartphone sur le critère de son score à 3Dmark. Pour une carte graphique à la limite…

Mais je préfère téléphone avec une bonne grosse autonomie (d’une journée? <img data-src=" />) plutôt qu’un téléphone qui va m’afficher des pixels dans un jeu de merde.

Le tout est qu’il soit suffisamment véloce pour le mail, surf et video.



Par contre une question sur la “tricherie” : les téléphones concernées n’augmentent leur fréquence que sur des benchs, ou aussi sur des grosses appli comme des jeux?



[edit] réponse à ma question avec le premier lien de l’article


NeoYoH
Le 26/11/2013 à 11h09

Dommage que pour Android la rom/kernel ne puisse pas être différencier :/



Sur mon Nexus 5 avec le kernel franco et la rom Cataklysm sans toucher aux fréquences je suis a 17600…



Bon après ça change RIEN niveau utilisation, ça reste ultra fluide même en rom stock donc bon c’est juste la guerre du “j’ai la plus grosse” :)


pyro-700
Le 26/11/2013 à 11h14

je trouve ca ridicule de comparer des smatphones. <img data-src=" />


Angelus69
Le 26/11/2013 à 11h19

<img data-src=" />note 3 et le LG 2 exclue s’est dur s’etait optimisation <img data-src=" /> enfin si il devrait le faire aussi sur nos pc oc comme des porcs .


molotofmezcal
Le 26/11/2013 à 11h26

En même temps dans les mobiles les benchs sont utiles pour différencier les différents soc et pas les smartphones entre eux. .

Du moment que l’on voit ce que vaut un S800 on s’en tamponne un peu des écarts ensuite, c’est pas comme s’il y avait 10000 soc possibles sur le segment haut de gamme.


Angelus69
Le 26/11/2013 à 11h30

Je viens de tester avec le note 3 c’est vrai ils ont retirer les scores enfin ont va dire que mon bidule est hors norme <img data-src=" />


yeagermach1
Le 26/11/2013 à 11h50







Angelus69 a écrit :



Je viens de tester avec le note 3 c’est vrai ils ont retirer les scores enfin ont va dire que mon bidule est hors norme <img data-src=" />





Ton français l’est c’est sur.



Charly32
Le 26/11/2013 à 11h52







pyro-700 a écrit :



je trouve ca ridicule de comparer des smatphones. <img data-src=" />







Tu veux dire la puissance? Il faut bien pouvoir comparer pour pouvoir se décider à l’achat. Mais je te rejoins sur le fait que ce genre de benchs ne servent qu’au kikoomètre. Je préfèrerais des tests plus pratiques, du genre temps de calcul d’un itinéraire sur GPS, exécution d’un site complexe etc.







Angelus69 a écrit :



:enfin si il devrait le faire aussi sur nos pc oc comme des porcs .







L’OC PC tu as la main dessus. Si les constructeurs se contentaient d’augmenter la fréquence pour TOUS les usages lourds et non seulement les benchs, ça ne poserait pas de problème, ce serait juste de l’optimisation (comme les fréquences turbo des processeur PC finalement).



Zerbus
Le 26/11/2013 à 12h01

Perso l’intéret principal que je vois à la puissance pour un téléphone (à partir d’un certain niveau) c’est de l’émulation de nintendo DS.

Il y a des jeux qui me font envie dessus mais je n’ai pas l’intention d’acheter la console juste pour ça. Mais sur mon note 2 ça rame vraiment trop <img data-src=" />


levhieu
Le 26/11/2013 à 12h01







Charly32 a écrit :



…Si les constructeurs se contentaient d’augmenter la fréquence pour TOUS les usages lourds et non seulement les benchs, ça ne poserait pas de problème…







Euh, et la batterie ?



d4rkf4b
Le 26/11/2013 à 12h05







PCInpact a écrit :



3DMark : un nouvelle version pour Android qui exclut les tricheurs







Ils ont supprimé la Surface Pro et la Surface 2 Pro?



Sur la version précédente, elles étaient en tête du classement avec leur core i3/5 et leur GPU Intel HD <img data-src=" />



yeagermach1
Le 26/11/2013 à 12h13







d4rkf4b a écrit :



Ils ont supprimé la Surface Pro et la Surface 2 Pro?



Sur la version précédente, elles étaient en tête du classement avec leur core i3/5 et leur GPU Intel HD <img data-src=" />





Ben ils peuvent virer les surfaces pro et surface 2 pro de l’application android, cela généra pas trop.



Sinon, ils trichent pas, ils disent clairement quel est leur proc et a quelle fréquence il fonctionne.



Charly32
Le 26/11/2013 à 12h20







levhieu a écrit :



Euh, et la batterie ?





C’est bien pour elle qu’on augmente la fréquence que dans les usages lourds ;)



d4rkf4b
Le 26/11/2013 à 13h28







yeagermach1 a écrit :



Ben ils peuvent virer les surfaces pro et surface 2 pro de l’application android, cela généra pas trop.



Sinon, ils trichent pas, ils disent clairement quel est leur proc et a quelle fréquence il fonctionne.





Et le PC gamer dernier cri il est à mettre dans le même classement alors ( archi x86, win8.1,etc… comme les surfaces pro et surface 2 pro)



yeagermach1
Le 26/11/2013 à 13h34







d4rkf4b a écrit :



Et le PC gamer dernier cri il est à mettre dans le même classement alors ( archi x86, win8.1,etc… comme les surfaces pro et surface 2 pro)





Y a une légère différence entre une tablette X86 et un ordi gamer …



d4rkf4b
Le 26/11/2013 à 13h57







yeagermach1 a écrit :



Y a une légère différence entre une tablette X86 et un ordi gamer …





Et entre un smartphone ARM et une tablette X86?



Disons une énorme différence… C’est bien le problème!



yeagermach1
Le 26/11/2013 à 14h13







d4rkf4b a écrit :



Et entre un smartphone ARM et une tablette X86?



Disons une énorme différence… C’est bien le problème!





Ça reste la même gamme de produit : les tablettes/smartphones. Alors que dans ton précédent com, tu comparais deux produits de gammes vraiment différentes.



dematbreizh Abonné
Le 26/11/2013 à 14h37







Charly32 a écrit :



Mais je préfère téléphone avec une bonne grosse autonomie (d’une journée? <img data-src=" />) plutôt qu’un téléphone qui va m’afficher des pixels dans un jeu de merde.





Tu n’as qu’à choisir que des bon jeux ;)



d4rkf4b
Le 26/11/2013 à 15h16







yeagermach1 a écrit :



Ça reste la même gamme de produit : les tablettes/smartphones.Ça reste la même gamme de produit





Tout depend du point de vue…

Sur la form factor, OK…

Sur l’architecture, non!





yeagermach1 a écrit :



Alors que dans ton précédent com, tu comparais deux produits de gammes vraiment différentes.





<img data-src=" />… C’est 3Dmark!



Kethounet
Le 26/11/2013 à 16h32

Et en attendant on a toujours pas le score 3dmark du large pixel collider…


trshbn
Le 27/11/2013 à 07h15







Charly32 a écrit :



Je préfèrerais des tests plus pratiques, du genre temps de calcul d’un itinéraire sur GPS, exécution d’un site complexe etc.





+1 <img data-src=" />



Tout à fait d’accord avec toi : même si on peut se douter qu’un score élevé signifie que les applis vont tourner plus vite, ça reste à démontrer en pratique (surcouche logicielle constructeur, matériel différent, efficacité des antennes, optimisation des drivers, etc…).

Par exemple, mon smartphone capte très difficilement le signal GPS… du coup, Google Navigation n’est pas du tout efficace ni pratique, contrairement au téléphone de ma copine, bien moins puissant sur le papier, mais qui accroche un satellite en moins de deux (et ne le lâche pas en cours de route, en plus…).

Et en plus, les benches pourraient servir et être compris par tout le monde du coup!



dam1605 Abonné
Le 27/11/2013 à 07h38







Charly32 a écrit :



Je préfèrerais des tests plus pratiques, du genre temps de calcul d’un itinéraire sur GPS, exécution d’un site complexe etc.









trshbn a écrit :



Tout à fait d’accord avec toi : même si on peut se douter qu’un score élevé signifie que les applis vont tourner plus vite, ça reste à démontrer en pratique (surcouche logicielle constructeur, matériel différent, efficacité des antennes, optimisation des drivers, etc…).

Par exemple, mon smartphone capte très difficilement le signal GPS… du coup, Google Navigation n’est pas du tout efficace ni pratique, contrairement au téléphone de ma copine, bien moins puissant sur le papier, mais qui accroche un satellite en moins de deux (et ne le lâche pas en cours de route, en plus…).

Et en plus, les benches pourraient servir et être compris par tout le monde du coup!







Un bench qui évalue des temps de calculs d’applications spécifiques ça sert pas à grand chose: ça dépend plus de l’application (ou de la version de l’application) que du téléphone. Il suffit d’un indicateur de performance global pour se faire une idée.

Surtout que dans bien des cas le calcul est pas fait sur le smartphone.



Par contre quelque chose qui évalue vraiment le hardware:

par exemple la qualité de la reception des différents modules (gps, wifi, etc..) et leur gourmandise en W serait beaucoup plus intéressant.




Charly32
Le 27/11/2013 à 11h21







dam1605 a écrit :



Un bench qui évalue des temps de calculs d’applications spécifiques ça sert pas à grand chose: ça dépend plus de l’application (ou de la version de l’application) que du téléphone. Il suffit d’un indicateur de performance global pour se faire une idée.

Surtout que dans bien des cas le calcul est pas fait sur le smartphone.



Par contre quelque chose qui évalue vraiment le hardware:

par exemple la qualité de la réception des différents modules (gps, wifi, etc..) et leur gourmandise en W serait beaucoup plus intéressant.







La gourmandise en W c’est assez complexe à relever, et ça ne va pas parler à grand monde. Mieux vaut parler en autonomie (5h en comm, 7h en lecture vidéo etc).

On trouve également trop peu d’indications sur la capacité des téléphone à accrocher un réseau. Le nombre de fois où je suis obligé de passer mon 4S en mode avion pour qu’il raccroche la 3G (bon je suis chez Free aussi, ça l’aide pas le pauvre <img data-src=" />)



Tout ça pour dire que les chiffres théoriques c’est bien beau, mais ça ne reflète pas forcement l’usage. Exactement ce qu’il se passe pour la couverture réseau : la méthode ARCEP et la méthode UFC-Que Choisir. L’une est adaptée pour ce qui est contractuel/Ingénierie (définition claire, mesurable) et l’autre intéressera réellement l’utilisateur.



yeagermach1
Le 27/11/2013 à 14h24







dam1605 a écrit :



Un bench qui évalue des temps de calculs d’applications spécifiques ça sert pas à grand chose: ça dépend plus de l’application (ou de la version de l’application) que du téléphone. Il suffit d’un indicateur de performance global pour se faire une idée.

Surtout que dans bien des cas le calcul est pas fait sur le smartphone.



Par contre quelque chose qui évalue vraiment le hardware:

par exemple la qualité de la reception des différents modules (gps, wifi, etc..) et leur gourmandise en W serait beaucoup plus intéressant.





Franchement on pourrait imaginer que le test consiste a utiliser le tel pendant une semaine et en donner les points positifs et négatifs après coup. L’autonomie dans une vrai utilisation, l’efficacité du GPS, … En gros sortir des laboratoires de test …



Si c’est la même personne qui fait le test a chaque fois, l’écart type d’utilisation entre deux semaines de travail sera négligeable.



MS avait communiqué sur cela dans ses pubs : le temps de faire des opérations courantes entre ses téléphones et ceux de ses concurrents. C’est a mon sens bien plus intelligent que les bagarres de chiffres autours des benchs et des spécifications.



Fermer