Samsung est-il le seul à tricher dans les benchmarks sous Android (voir cette actualité) ? Selon nos confrères d'AnandTech, ce n'est pas le cas. ASUS, HTC ou encore LG abusent aussi de certains subterfuges pour améliorer leurs résultats dans les outils de mesure de performances. Certains développeurs de ces fameux outils ont d'ores et déjà réagi et mettent en place des solutions pour éviter les fraudes.
Lorsque nous évoquions la découverte d'Ars Technica concernant la méthode de triche employée par Samsung, nous relations aussi qu'AnandTech avait dû se justifier auprès de ses lecteurs au sein de son test du Galaxy Note 3. Notre confrère a décidé d'aller plus loin et de passer à l'offensive en dressant un récapitulatif des fabricants de smartphones sous Android qui s'arrange avec les résultats de tel ou tel outil de mesure de performances :
Tableau récapitulatif de la situation publié par AnandTech
ASUS, HTC et LG ne valent guère mieux que Samsung, qui garde le record
Comme on peut le voir ci-dessus, il existe deux fronts assez distincts. D'un côté les fabricants asiatiques avec ASUS, HTC, LG et Samsung qui trichent et de l'autre les constructeurs américains avec Motorola, Google et NVIDIA qui ne semblent pas tenter d'apparaître plus haut dans les classements de manière factice. Notez que Samsung est certainement celui qui va le plus loin puisque quasiment tous les scores sont ainsi « contaminés ». Et la marque coréenne ne semble pas vraiment hésiter à le faire, que ce soit avec ses propres puces Exynos comme sur ses produits équipés de Snapdragon de Qualcomm, ou encore avec les Atom d'Intel.
Une différence est par contre notable entre les appareils achetés nus et ceux fournis par les opérateurs selon Anand Lai Shimpi, qui précise que ces derniers ont souvent des résultats en deçà, sans doute en raison du moindre suivi concernant la liste des optimisations qu'il faut sans cesse mettre à jour.
Rightware, AnTuTu Labs, Futuremark, développent des solutions ou analysent
Du coup, les éditeurs de logiciels réagissent. Rightware annonce avoir modifié Basemark X suite aux différentes triches recensées par Ars Technica puis AnandTech. Le développeur indique avoir produit une nouvelle version de son outil qui résout le problème. Cependant, la version officielle sur le Play Store est encore datée d'avril et toujours estampillée 1.0. Il faudra certainement quelque temps avant qu'elle ne soit disponible.
De son côté AnTuTu Labs précise qu'il va sortir un nouvel utilitaire, nommé AnTuTu Benchmark X, qui reprend le fonctionnement d'AnTuTu Benchmark, mais avec des astuces de camouflage qui seront mises en place pour éviter qu'il ne puisse être reconnu par les terminaux. Il devrait ainsi passer au travers des triches mises en place par les différents constructeurs, à moins que celles-ci n'évoluent elles aussi. De notre côté, nous avons contacté Futuremark, qui nous a dit examiner le problème sur les différents terminaux incriminés, dont le Galaxy Note 3.
La société rappelle au passage que ce genre de triche par détection n'est pas permis et qu'elle affiche des règles claires sur son propre site. Quoi qu'il en soit, l'analyse est encore en cours et une réponse définitive concernant les actions qui vont être menées devrait nous parvenir dans les jours à venir.
Tricher dans les tests n'améliore pas la satisfaction du client
Mais au final, que nous apprennent les découvertes de nos différents confrères ? Pas grand-chose que l'on ne savait déjà : les résultats issus des outils de mesures sont à prendre en compte, mais ne sont qu'un élément de la chaîne et ils doivent servir de simples indicateurs tout au plus. Juger un smartphone ou une tablette sur cet unique point n'a pas de sens.
Le manque de morale de certains constructeurs est d'ailleurs toujours autant problématique, puisque ceux-ci cherchent à tromper les consommateurs par ces pratiques, plutôt que d'accorder ce temps de développement à améliorer leurs produits, ce qui est regrettable. Si le milieu du PC a réussi à se réformer à ce niveau avec le temps (bien que tout ne soit pas toujours parfait), il faudrait que celui du mobile apprenne à se mettre au pas assez rapidement.
Au final, c'est toujours l'expérience de l'utilisateur qu'il faut privilégier, car c'est au quotidien que ceux-ci jugeront le produit afin de décider si oui, ou non, ils doivent continuer à faire confiance à une marque par rapport à la promesse qui leur avait été faite. S'il est possible de tromper les tests effectués en quelques heures, ou même parfois sur place lors d'une conférence de presse pour les prises en main, il en est autre chose lorsqu'il est question de satisfaire le client.
Certains s'y sont trompés à laisser de côté le suivi des mises à jour au détriment de la multitude de produits, et en paient aujourd'hui le prix. Espérons pour ceux qui s'essaient à ce genre de pratique que le retour de bâton ne sera pas trop rude. Mais après tout, ce ne serait qu'un juste retour des choses.
