Samsung est-il le seul à tricher dans les benchmarks sous Android (voir cette actualité) ? Selon nos confrères d'AnandTech, ce n'est pas le cas. ASUS, HTC ou encore LG abusent aussi de certains subterfuges pour améliorer leurs résultats dans les outils de mesure de performances. Certains développeurs de ces fameux outils ont d'ores et déjà réagi et mettent en place des solutions pour éviter les fraudes.
Lorsque nous évoquions la découverte d'Ars Technica concernant la méthode de triche employée par Samsung, nous relations aussi qu'AnandTech avait dû se justifier auprès de ses lecteurs au sein de son test du Galaxy Note 3. Notre confrère a décidé d'aller plus loin et de passer à l'offensive en dressant un récapitulatif des fabricants de smartphones sous Android qui s'arrange avec les résultats de tel ou tel outil de mesure de performances :
Tableau récapitulatif de la situation publié par AnandTech
ASUS, HTC et LG ne valent guère mieux que Samsung, qui garde le record
Comme on peut le voir ci-dessus, il existe deux fronts assez distincts. D'un côté les fabricants asiatiques avec ASUS, HTC, LG et Samsung qui trichent et de l'autre les constructeurs américains avec Motorola, Google et NVIDIA qui ne semblent pas tenter d'apparaître plus haut dans les classements de manière factice. Notez que Samsung est certainement celui qui va le plus loin puisque quasiment tous les scores sont ainsi « contaminés ». Et la marque coréenne ne semble pas vraiment hésiter à le faire, que ce soit avec ses propres puces Exynos comme sur ses produits équipés de Snapdragon de Qualcomm, ou encore avec les Atom d'Intel.
Une différence est par contre notable entre les appareils achetés nus et ceux fournis par les opérateurs selon Anand Lai Shimpi, qui précise que ces derniers ont souvent des résultats en deçà, sans doute en raison du moindre suivi concernant la liste des optimisations qu'il faut sans cesse mettre à jour.
Rightware, AnTuTu Labs, Futuremark, développent des solutions ou analysent
Du coup, les éditeurs de logiciels réagissent. Rightware annonce avoir modifié Basemark X suite aux différentes triches recensées par Ars Technica puis AnandTech. Le développeur indique avoir produit une nouvelle version de son outil qui résout le problème. Cependant, la version officielle sur le Play Store est encore datée d'avril et toujours estampillée 1.0. Il faudra certainement quelque temps avant qu'elle ne soit disponible.
De son côté AnTuTu Labs précise qu'il va sortir un nouvel utilitaire, nommé AnTuTu Benchmark X, qui reprend le fonctionnement d'AnTuTu Benchmark, mais avec des astuces de camouflage qui seront mises en place pour éviter qu'il ne puisse être reconnu par les terminaux. Il devrait ainsi passer au travers des triches mises en place par les différents constructeurs, à moins que celles-ci n'évoluent elles aussi. De notre côté, nous avons contacté Futuremark, qui nous a dit examiner le problème sur les différents terminaux incriminés, dont le Galaxy Note 3.
La société rappelle au passage que ce genre de triche par détection n'est pas permis et qu'elle affiche des règles claires sur son propre site. Quoi qu'il en soit, l'analyse est encore en cours et une réponse définitive concernant les actions qui vont être menées devrait nous parvenir dans les jours à venir.
Tricher dans les tests n'améliore pas la satisfaction du client
Mais au final, que nous apprennent les découvertes de nos différents confrères ? Pas grand-chose que l'on ne savait déjà : les résultats issus des outils de mesures sont à prendre en compte, mais ne sont qu'un élément de la chaîne et ils doivent servir de simples indicateurs tout au plus. Juger un smartphone ou une tablette sur cet unique point n'a pas de sens.
Le manque de morale de certains constructeurs est d'ailleurs toujours autant problématique, puisque ceux-ci cherchent à tromper les consommateurs par ces pratiques, plutôt que d'accorder ce temps de développement à améliorer leurs produits, ce qui est regrettable. Si le milieu du PC a réussi à se réformer à ce niveau avec le temps (bien que tout ne soit pas toujours parfait), il faudrait que celui du mobile apprenne à se mettre au pas assez rapidement.
Au final, c'est toujours l'expérience de l'utilisateur qu'il faut privilégier, car c'est au quotidien que ceux-ci jugeront le produit afin de décider si oui, ou non, ils doivent continuer à faire confiance à une marque par rapport à la promesse qui leur avait été faite. S'il est possible de tromper les tests effectués en quelques heures, ou même parfois sur place lors d'une conférence de presse pour les prises en main, il en est autre chose lorsqu'il est question de satisfaire le client.
Certains s'y sont trompés à laisser de côté le suivi des mises à jour au détriment de la multitude de produits, et en paient aujourd'hui le prix. Espérons pour ceux qui s'essaient à ce genre de pratique que le retour de bâton ne sera pas trop rude. Mais après tout, ce ne serait qu'un juste retour des choses.
Commentaires (64)
#1
Le seul vrai test est celui effectué en utilisation est pas par des benchs trucs qui tentent les acteurs à le faire.
D’un côté les fabricants asiatiques avec ASUS, HTC, LG et Samsung qui trichent et de l’autre les constructeurs américains avec Motorola, Google et NVIDIA qui ne semblent pas tenter d’apparaître plus haut dans les classements de manière factice.
Je n’y croit absolument pas.
#2
Boarf, je n’achète pas un mobile d’après sont score sur un benchmark.
Un test qui aurait de la valeur, c’est de comparer des taches similaires entre les appareils : temps de boot de l’apareil, temps d’ouverture d’une page internet en wifi/3G/4G avec un même opérateur, application d’un filtre sur une (serie de) photo, lancement de l’application facebook, et durée de la batterie en lecture video.
Des usages que j’aurais vraiment de mon téléphone et qui restent comparables entre eux.
#3
Tricher dans les tests n’améliore pas la satisfaction du client
Vous êtes sûr de ça ?
Vous avez pensé à l’effet placebo ‘kikitoudur’ du possesseur du dernier flagship ?
alors que dans les fait ça change rien sur la réactivité de son appli facebook ?
#4
Perso c’est plus l’interface, la fluidité, la qualité des apps dispos , … le benchmark j’en ai jamais regardé un seul que ce soit pour acheter un tel,un ordi, une console, …
Vraiment un truc pour comparer sa kikootoutdur avec les autres…
#5
Ca me fait penser aux triches des opérateurs de mobiles quand on veut vérifier la vitesse de la connexion.
" />
#6
#7
Ce qui est sûr, c’est qu’encore maintenant les smartphones Samsung ont des ralentissement en fonctionnement…
http://www.youtube.com/watch?feature=player_embedded&v=Wqt2m4k7cV8
Avec du S800, 3Go de Ram, ça fait un peu halluciner.
#8
#9
… Apple n’est pas cité ?
#10
#11
#12
#13
#14
#15
De toute facon, ces chiffres ne sont là que pour se la mesurer entre possesseurs de smartphone.
" />
On est toujours là à dire que ce n’est pas important, mais une fois acculé ca sort tout seul
#16
Sony ne fait pas partie du lot?
#17
#18
#19
Quand j’ai vu “triche”, “fourberie” et tout ça, je m’attendais à un truc bien sale genre toutes les applis en tâches de fond qui sont coupées et le CPU/GPU overclocké à mort pour “tricher”. En fait, ça se met juste à la vitesse max (qu’on pourrait aussi atteindre avec un jeu bien gras), comme 100% des PC quand on lance un bench
" /> Le but d’un bench est de se toucher dessus, pourquoi le machin testé tournerait à 300Mhz si on cherche à mesurer ses perfs ? Il y a un truc que je ne comprends pas là 
" />
#20
#21
#22
D’un côté les fabricants asiatiques avec ASUS, HTC, LG et Samsung qui trichent et de l’autre les constructeurs américains avec Motorola, Google et NVIDIA qui ne semblent pas tenter d’apparaître plus haut dans les classements de manière factice.
Voilà une conclusion à laquelle je m’y attendais (et craignais)…
Les téléphones chinois ne font pas mieux, avec une appli AnTuTu trafiquée et non désinstallable…
De toutes façons, les benchs ne représentent jamais les performances dans le “monde réel” et il vaut mieux privilégier une expérience utilisateur et une autonomie optimale dans toutes les circonstances.
#23
#24
Dommage de pas avoir intégré le titre du tableau dans la capture
" />
" />
“I Can’t Believe I Have to Make This Table”
#25
Pour Apple, les bench existent sur iOS? (j’en sais rien je pose la question mais ca peut être ca).
Sinon je suis assez d’accord avec Dacoco974, je comprend pas trop pourquoi tout le monde crie à la “triche”. OK le processeur est boosté au max pour le bench mais tout comme sur un PC. On sait bien que c’est pas représentatif d’un usage réel, mais pour un test fait spécialement pour voir la puissance du smartphone en quoi c’est étrange?
Je veux dire, dans un jeu gourmand, on attends bien du proc qu’il soit au max pour que ca tourne non?
Pour le coup je verrais un vrai problème si, lors de l’utilisation d’un jeu gourmand (ou d’une appli), le proc n’était pas au max et qu’on ai alors des perf pourries. La oui ca me poserai problème.
#26
#27
#28
#29
#30
#31
#32
#33
#34
#35
#36
#37
#38
#39
Tout depend si une appli lambda peut avoir accés au meme 100% qu’un Bench. Si oui, alors le terme de tricherie est fort. Si non, il est totalement mérité.
#40
moi ce qui me fait acheter un téléphone c’est juste un téléphone qui me plait déjà par son design et si les trucs bateaux fonctionnent bien et pas des graphiques et de gros chiffres …
" />
pour un composant pc là c’est différent… mais un téléphone… surtout que bon les gens font quoi avec ? appel, sms, facebook. Super besoin d’un tel à 500€ pour ça
#41
Comment dire : les mecs qui font les benchmarks utilisent tout ce qui est dispo pour tirer le maximum du matos sur lequel ils doivent tourner. Les mecs qui font les jeux aussi. Et il y a aussi d’autres type d’applis qui veulent utiliser au max les cpu/gpu. Et c’est normal.
Ce qui ne l’est pas, c’est qu’un constructeur crée des profils pour un type d’application a leur discrétion qui permettent d’utiliser plus de ressources que normalement autorisé selon afin d’en augmenter les perfs. Si tout le monde a accès aux même ressources (api, matos, profils), il y a pas de problèmes.
Imaginons un cas de figure pas très éloigné de la réalité. Deux constructeurs sortent deux tablettes parfaitement identique (matos et version nude de l’OS), il y a que le nom qui change. L’un a integré un profil pour que lorsqu’une appli de type benchmark est lancé, plus de ressources (ram, proc, gpu) lui soit attribué. Et l’autre n’a pas intégré ce dit profil. Le premier aura de meilleur scores aux bench alors qu’ils devraient avoir les mêmes. Alors oui c’est débile de n’acheter qu’en fonction des benchs, mais beaucoup le font.
#42
Tu fais sciemment ou pas un amalgame. C’est pas parce qu’une application post it a l’autorisation d’utiliser tout le proco, le gpu et la memoire, que l’application post it doit utiliser la triplette précédemment nommé a leur maximum. Et 99% elle utilisera pas a son maximun la triplette et c’est totalement normal. C’est une possibilité pas une obligation.
Faire des profils auquel on (les devs) a pas le droit de souscrire, c’est dire qu’il y a x sortes de dev (x = nombre de profil existant). Et donc X sortes d’applications. Et accessoirement que c’est a Samsumg (pour ne citer qu’eux) de décider qui fait partie des heureux élus ou pas.
Imagine une PS4 ou Sony aurait plusieurs profiles et choisirait qui bénéficie duquel :
“
”
La “meilleur” des solutions c’est que Sony vende le kit de dev a des prix différents en fonction de la puissance donnée. La “pire” serait que Sony vende le kit de dev au même prix pour tout le monde (le prix le plus élevé faut pas abuser). Bien sur, ils vendraient leur console qu’en montrant des produits interne ou de Quantic Dream …
C’est ce que font les tricheurs sous Android en vendant leur produit en mettant en valeur des benchmarks qui avaient droit a un niveau de puissance que toutes les autres applis auront pas accès.
Tu dis vrai en disant que les surcouches influencent les perfs, mais cela ne contredit pas ce que je dis non plus, le bench est représentatif d’un matériel donné avec une couche soft donnée. Le test étant par contre le même. C’est l’analyse des résultats qui changera alors. On passera d’une analyse : même matos, même surcouche, même configuration a vue utilisateur, benchs différents -> WTF
A une analyse : même matos, surcouches différentes, même configuration a vue utilisateur, benchs différents -> une des surcouches est mieux que l’autre.
Pour conclure, si on était paranoïaque, on pourra même penser que Samsumg avant de sortir un nouveau modèle pourrait s’amuser a envoyer un nouveau profil aux anciens modèles pour dégrader encore plus leur performance dans le but de mettre encore plus en valeur le nouveau (et de faire migrer leur client). Mais la cela serait une belle théorie du complot auquel je n’adhère pas.
#43
#44
#45
Si un constructeur automobile te vend une bagnole qui est censé aller a 300 km/h, et qu’une fois que tu as la bagnole, elle ne va qu’a 250. Tu as le droit de le traiter de tricheur.
C’est ce qu’a fait Samsung :
On the Exynos 5410, Samsung was detecting the presence of certain benchmarks and raising thermal limits (and thus max GPU frequency) in order to gain an edge on those benchmarks,
On parle pas de juste un profil eco ou 100% perf, on parle d’un profil 115% perf …
Mais fait semblant de ne pas comprendre ce que les gens racontent surtout …
#46
#47
Ils s’en tapent de la satisfaction client.
Les gens ne consomment plus de manière rationnelle, les marketeux le savent bien.
Tricher sur des chiffres, ça fait partie de la stratégie pour vendre et optimiser l’exercice fiscal, la satisfaction client ne rapporte rien à court terme.
Les industriels s’en tapent royalement du long terme, encore moins sur les nouvelles technologies, vu la durée de vie moyenne d’un smartphone, et vue la position dominante de Samsung sur le marché, les clients mécontents seront remplacés par d’autres, pour eux c’est positif, ça leur rapporterait moins de faire de la qualité qui va durer dans le temps que de fabriquer du jetable qu’il faudra remplacer tout 18 mois.
#48
#49
#50