Qualité des services mobiles : Orange en tête, la 5G Free à la ramasse sur les débits

Qualité des services mobiles : Orange en tête, la 5G Free à la ramasse sur les débits

Carton rouge de l'arcep

Avatar de l'auteur
Sébastien Gavois

Publié dans

Société numérique

22/11/2021 11 minutes
15

Qualité des services mobiles : Orange en tête, la 5G Free à la ramasse sur les débits

Selon le dernier observatoire de l'autorité de régulation des télécoms, Orange est l’opérateur avec la meilleure qualité de service sur l’Internet mobile, la voix et les SMS. Elle a également testé pour la première fois la 5G, qui entraine logiquement une hausse des débits moyens… sauf chez Free Mobile.

L’Arcep vient de mettre en ligne les résultats de sa 22e « enquête annuelle d’évaluation de la qualité de service des opérateurs mobiles métropolitains ». Nouveauté de cette année : la 5G prend place aux côtés des 2G, 3G et 4G dans certains indicateurs. Au total, ce sont pas moins d’un million de mesures qui ont été effectuées. 

« L’enquête a porté sur les services mobiles les plus répandus : navigation web, lecture de vidéo, transfert de données, SMS et appels vocaux. Les tests réalisés visent à évaluer la performance des réseaux des opérateurs, de manière strictement comparable, et dans des conditions d’usages diversifiées », explique le régulateur.

C’est l’occasion d’avoir un comparatif indépendant des performances des quatre opérateurs. Le constat global est sans appel et va dans le bon sens : si les indicateurs sur les SMS et les appels sont comparables à ceux de 2020, « la qualité des services de l’Internet mobile ("mesures data") s’améliore nettement pour tous les opérateurs, et ce dans toutes les zones : rurales, intermédiaires et denses »… Reste le cas bien particulier de Free Mobile et sa 5G.

Arcep QOS 2021

Internet : Orange en tête, Free Mobile 2e en zones rurales

La navigation web et le visionnage de vidéos en ligne font ainsi un important bond en avant, avec des hausses moyennes de 8 et 9 points respectivement par rapport au précédent bilan. Sans entrer dans le détail de l’ensemble des mesures, voici le bilan des quatre opérateurs au niveau national, mais aussi dans les zones rurales où le déploiement se fait moins rapidement. L’ensemble des données se trouve sur le site Mon réseau mobile.

Taux de réussite de la navigation web dans toutes les zones  :

  • Orange : 98 %
  • Bouygues Telecom, Free Mobile et SFR : 94 %

Taux de réussite de la navigation web dans les zones rurales :

  • Orange : 95 %
  • Free Mobile : 89 %
  • Bouygues Telecom et SFR :  87 %

Taux de réussite du visionnage des vidéos (qualité parfaite) en streaming dans toutes les zones mélangées :

  • Orange : 91 %
  • Bouygues Telecom : 89 %
  • Free Mobile : 88 %
  • SFR : 87 %

Taux de réussite du visionnage des vidéos (qualité parfaite) en streaming dans les zones rurales :

  • Orange : 88 %
  • Free Mobile : 84 %
  • Bouygues Telecom : 83 %
  • SFR : 82 %

Orange arrive toujours en tête, mais les trois autres opérateurs ne sont généralement pas loin et se tiennent dans un mouchoir de poche. Free Mobile parvient néanmoins à se hisser à la seconde position, mais Orange conserve une confortable avance dans les zones rurales, que ce soit pour la navigation web ou le visionnage de vidéo.

Sur les débits (aussi), Orange met tout le monde d’accord

Les débits moyens mesurés en téléchargement font un important bond en avant. Tous opérateurs confondus, les zones denses sont à 95 Mb/s (+31 Mb/s, soit + 48 %), les zones intermédiaires à 74 Mb/s (+24 Mb/s, soit +48 % également ) et les zones rurales à 47 Mb/s (+16 Mb/s, soit + 52 %). En 2020, l’augmentation était très légère (entre 2 et 4 Mb/s seulement) dans toutes les zones, « en partie du fait du contexte sanitaire », rappelle le gendarme.

  • Bouygues Telecom : 
    • Download : 55 Mb/s toutes zones confondues, de 83 à 30 Mb/s suivant les zones
    • Upload : 14 Mb/s toutes zones confondues, de 21 à 7 Mb/s suivant les zones
  • Free Mobile : 
    • Download : 50 Mb/s toutes zones confondues, de 57 à 48 Mb/s suivant les zones
    • Upload : 10 Mb/s toutes zones confondues, de 12 à 6 Mb/s suivant les zones
  • Orange :
    • Download : 110 Mb/s toutes zones confondues, de 148 à 64 Mb/s suivant les zones
    • Upload : 18 Mb/s toutes zones confondues, de 24 à 10 Mb/s suivant les zones
  • SFR : 
    • Download : 69 Mb/s toutes zones confondues, de 102 à 41 Mb/s suivant les zones
    • Upload : 12 Mb/s toutes zones confondues, de 17 à 7 Mb/s suivant les zones

Ces moyennes cachent de fortes disparités selon les opérateurs et les zones. Alors qu’Orange est en tête avec 148 Mb/s de moyenne en téléchargement dans les zones denses, Free Mobile est dernier avec 47 Mb/s, plus de trois fois moins. Il est par contre en seconde position (derrière Orange) dans les zones rurales avec 48 Mb/s.

Comme sur le visionnage de vidéo et la navigation web, Orange arrive finalement en tête sur l’ensemble des mesures, peu importe les zones, et qu’il s’agisse d’upload ou de download.

Les trois autres opérateurs se partagent donc à tour de rôle les autres places. 

Arcep QOS 2021

Toujours sur les débits, l’Arcep propose un indicateur sur le pourcentage de tests dépassant les 3 Mbit/s, une limite choisie car elle « permet dans la plupart des cas d’assurer les usages Internet mobile "standards" (web, mails…) ».

Dans les zones denses et intermédiaires, il constate des « performances assez proches entre opérateurs (entre 94 % et 99 %) », avec de nouveau Orange toujours en tête. Dans les zones rurales, « l’écart est plus marqué, avec 90% des débits obtenus pour Orange supérieurs à 3 Mbit/s, contre 84% pour Free Mobile et 79% et 77% pour SFR et Bouygues Telecom respectivement ».

Si on ajoute la 5G, les débits moyens de Free… baissent

La 5G est prise en compte pour la première fois, avec un principe : « L’indicateur publié ici présente le débit moyen obtenu avec les mesures compatibles 5G sur l’ensemble du territoire, afin de mesurer les débits auquel un utilisateur peut s’attendre d’avoir dans son usage quotidien, qu’il ait ou non accroché une antenne 5G ».

Pour simplifier, le smartphone et le forfait sont parés pour la 5G, le reste ne dépend donc que de la disponibilité de la 5G sur les antennes des opérateurs. Voici les moyennes de chaque opérateur au niveau national, en 4G seulement d’un côté et avec la 5G ensuite :

  • Bouygues : 55 Mb/s en 4G et 71 Mb/s avec la 5G (jusqu’à 130 Mb/s en zones denses)
  • Free : 69 Mb/s en 4G et 31 Mb/s avec la 5G (jusqu’à 35 Mb/s en zones intermédiaires)
  • Orange : 110 Mb/s en 4G et 142 Mb/s avec la 5G (jusqu’à 227 Mb/s en zones denses)
  • SFR : 50 Mb/s en 4G et 84 Mb/s avec la 5G (jusqu’à 145 Mb/s en zones denses)

Fort logiquement, la 5G permet d’augmenter les moyennes… à une exception près : Free Mobile. C’est le seul opérateur pour qui les débits baissent avec un smartphone compatible 5G, et ce, quelle que soit le type de zone : 

  • Zones denses : 47 Mb/s en 4G, contre 32 Mb/s en 5G
  • Zones intermédiaires : 57 Mb/s en 4G, contre 35 Mb/s en 5G
  • Zones rurales : 48 Mb/s en 4G, contre 27 Mb/s en 5G

Ces résultats sont très certainement une conséquence de la politique de déploiement de Free Mobile, qui réutilise massivement ses fréquences de 700 MHz pour proposer rapidement de la 5G à un maximum de clients. Par contre, l’espace disponible dans les 700 MHz est bien moins important que dans les 3,5 GHz.

Or, plus une bande de fréquence est large, plus les débits qu’il est possible d’atteindre sont importants. Avec 100 MHz de spectre en 4G, les débits seront plus élevés qu’avec 10 MHz en 5G par exemple.

De son côté, l'opérateur conteste la méthodologie de l'Arcep.

Arcep QOS 2021Arcep QOS 2021

La mesure du « taux d’accroche » de la 5G – un nouvel indicateur « qui représente la part des tests de débits réalisés avec les mesures compatibles 5G qui ont effectivement "utilisé" la 5G pour télécharger des fichiers » – va d’ailleurs dans le même sens :

« En zone dense, Bouygues Telecom est en tête (60 %) suivi de Free (49 %), d’Orange (46 %) et SFR (36 %). En zones intermédiaires et rurales, le taux d’accroche 5G pour Free Mobile est nettement supérieur aux autres opérateurs (50 % en zones intermédiaires, 27 % en zones rurales) ».

Hormis en zones denses, la différence est énorme : Free Mobile est entre 34 et 47 points de plus que ses concurrents en zones intermédiaires et 27 points de plus en zones rurales. En effet, dans ce dernier cas, Bouygues Telecom, Orange et SFR sont tous les trois à 0 % de taux d’accroche.

Mais comme le rappellent les résultats de l’Arcep, « accrocher » de la 5G ne signifie pas augmenter les performances… chez Free Mobile c’est même le contraire. Il est d’ailleurs étonnant de ne pas voir l’Arcep davantage insister sur ce sujet, alors que l’Autorité avait prévenu qu’elle serait attentive sur ce point.

À ce jour, Free Mobile est encore le seul opérateur à ne donner sur sa carte de couverture aucune indication sur les débits que ses clients peuvent atteindre en 5G. La distinction entre 700 et 3 500 MHz est bien mise en place pour la couverture, mais rien de plus. Les trois autres donnent soit les débits maximum soit des fourchettes.

L’école des fans des communiqués de presse

Comme on peut s’en douter, chaque opérateur a publié un communiqué mettant en avant ses points forts, oubliant ses faiblesses. Bouygues Telecom revendique être, « pour la 8e année consécutive », le « deuxième meilleur réseau mobile de France métropolitaine », Orange « confirme sa position de leader sur le réseau mobile pour la 11e année consécutive », tandis que SFR se vante d’être « numéro deux sur les débits descendants pour les utilisateurs 5G ».

Free Mobile appuie évidemment sur ses bons résultats dans les zones rurales et sur le taux d’accroche de la 5G… sans placer un mot sur les débits en baisse. À la place, l’opérateur évoque le fait que « des efforts importants sont consacrés pour optimiser le réseau, avec la mise en place de nouveaux équipements pour augmenter sa capacité. Ces efforts vont se poursuivre sur les prochains trimestres, avec notamment l’allumage de nouvelles fréquences 2100 MHz et le lancement de la VoLTE, ce qui conduira à une amélioration continue de la performance ». Free Mobile en profite pour annoncer couvrir « 99 % de la population française en 4G et 70 % en 5G ».

De son côté, l’Arcep ajoute que « les performances en débit montant sont quant à elles équivalentes entre 4G et 5G », quel que soit l’opérateur. La variation est de 2 Mb/s au maximum, indique le régulateur.

Arcep QOS 2021

SMS et voix se portent bien, la 1re sonnerie à la traîne chez Free

L'autorité propose également une analyse sur la voix et les SMS. Dans l’ensemble, « la qualité de service en 2021 est comparable à celle de 2020 ». Ainsi, « au niveau national, Orange présente le taux d’appels maintenus pendant 2 minutes et sans perturbations audibles le plus élevé (86 %), suivi de Bouygues Telecom et SFR (82 %) et Free Mobile (81 %). La tendance est similaire pour le taux de SMS reçus en moins de 10 secondes avec 96 % pour Orange, 94 % pour Bouygues Telecom et SFR, et 92 % pour Free Mobile ».

Petite nouveauté cette année : une mesure sur le délai d’établissement des appels, « entre le déclenchement de l’appel par l’appelant et le délai d’obtention de la première sonnerie ». Bouygues Telecom et Orange sont sur la première marche du podium avec une moyenne de 1,9 seconde sur cet indicateur, suivis de SFR avec 2 secondes, « avec un écart très faible – voire imperceptible pour un utilisateur ». Par contre, Free Mobile se fait de nouveau remarquer : l’opérateur « est distancé » avec un délai moyen d’établissement de 3 secondes.

Sur les axes de transport, « les écarts de qualité de service entre les opérateurs se resserrent ». Là encore, vous trouverez l’ensemble des indicateurs (routes, TGV, métro, RER/transiliens et Intercités/TER) sur Mon réseau mobile.

Arcep QOS 2021
15

Écrit par Sébastien Gavois

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Internet : Orange en tête, Free Mobile 2e en zones rurales

Sur les débits (aussi), Orange met tout le monde d’accord

Si on ajoute la 5G, les débits moyens de Free… baissent

L’école des fans des communiqués de presse

SMS et voix se portent bien, la 1re sonnerie à la traîne chez Free

Commentaires (15)


On notera que Free a posté une série de tweets critiquant le protocole de mesure des débits: https://twitter.com/Free_1337/status/1462786687709364225



setaou2 a dit:


On notera que Free a posté une série de tweets critiquant le protocole de mesure des débits: https://twitter.com/Free_1337/status/1462786687709364225




Et que Vivien de lafibre.info a apporté une réponse plus qu’éclairante à ce thread, montrant que c’était de la connerie : https://lafibre.info/qos-mobile/rapport-arcep-qos-mobile-2021/msg904708/#msg904708



setaou2 a dit:


On notera que Free a posté une série de tweets critiquant le protocole de mesure des débits: https://twitter.com/Free_1337/status/1462786687709364225




Oui, Free a fait sa pleureuse, comme d’hab.



Je reprends ici la formule d’un pote, qui résume tout : “Free c’est un peu le Didier Raoult des telecoms… Une grande gu… pour cacher pas mal de casseroles”.


On sait comment l’ARCEP tient compte du multiplexage avec les autres utilisateurs ?


Il me semble que l’ARCEP fait ses tests en conditions réelles. C’est à dire comme un client normal avec les mêmes bandes de fréquences.



Cqoicebordel a dit:


Et que Vivien de lafibre.info a apporté une réponse plus qu’éclairante à ce thread, montrant que c’était de la connerie : https://lafibre.info/qos-mobile/rapport-arcep-qos-mobile-2021/msg904708/#msg904708




:yes: :yes: :yes: Ce mec semble s’y connaitre. Merci du partage !



deathscythe0666 a dit:


On sait comment l’ARCEP tient compte du multiplexage avec les autres utilisateurs ?




Quesako ?



zebron a dit:


Il me semble que l’ARCEP fait ses tests en conditions réelles. C’est à dire comme un client normal avec les mêmes bandes de fréquences.




Donc la fiabilité des tests est limitée.




alain_p a dit:


Quesako ?




Dans les réseaux radio, sur une antenne donnée, la ressource radio (qui est le support de transmission) est partagée entre tous les utilisateurs qui l’utilisent simultanément. Il faut donc un mécanisme d’accès partagé entre les terminaux : il s’agit du multiplexage. Du coup, comme le support est partagé, plus tu as d’utilisateurs, plus tu vas devoir partager le débit entre eux (il y a d’autres facteurs dans le débit final pour un utilisateur donné, et le multiplexage des utilisateurs en est un)


Ca me semble bien compliqué de parler de multiplexage pour dire que la resource radio (limitée) est partagée.
Effectivement les résultats peuvent changer suivant les moments de la journée (réseaux plus ou moins saturés, quoiqu’on observe plus à ma connaissance de réseaux très chargés comme dans les années 90 où les appels vers 19h avaient du mal à passer). Donc ça change surtout les données en data !
Je crois que les mesures sont faites en même temps sur les 4 réseaux - avec des “pondeuses” d’appel dans le même véhicule, au même moment. En plus de 20 ans d’expérience, le protocole “tester en condition d’utilisateur” est plutôt pas mal !


Le délais à l’établissement de sonnerie rallongé chez Free est la conséquence inévitable de l’absence de VoLTE sur leur réseau : il faut le temps de faire le repli vers la 3G ou la 2G (qui sont les seuls techno à supporter le mode circuit, la seule alternative à VoLTE), puis d’établir le circuit afin d’acheminer (enfin) l’appel..



Oui, oui, nos sommes bien en 2021… bientôt 2022 même…



Ah et puis comme le repli 4G ou 5G vers 2G ou 3G peut échouer (pas de couverture, plus de capacité dispo, expiration des divers timers de la procédure etc etc…) je serais curieux de connaître l’impact sur le taux d’appel non abouti. Je n’ai pas trouvé l’info sur le site “mon réseau mobile”. Quelqu’un a vu un rapport plus complet ?



deathscythe0666 a dit:


Donc la fiabilité des tests est limitée.




Au contraire, ça me semble beaucoup plus pertinent de tester en tant qu’utilisateur que de se dire “ah cette antenne va super vite si on fait abstraction des personnes connectés dessus”.



Si on tient compte du nombre de personnes connectés, alors on peut dire qu’une zone est bien couverte, mais après quand une personne lambda se pointe avec son smartphone et forfait tout neuf, elle déchante.



S’il y a trop de monde sur une antenne, c’est à l’opérateur de se débrouiller pour augmenter le débit dans cette zone, sinon c’est trop facile de piper les données (ou alors j’ai rien à ton commentaire :mad2: )


tout à fait d’accord avec Y0mY0m, s’il peut y avoir de temps en temps des effets de bord dû à une congestion non représentative, le nombre de test est tel qu’il permet de rectifier les aléas rencontrés. Je trouve la méthode vraiment bien et ça évite que des opérateurs privilégie les tests de l’arcep par rapport à ce qui est offert aux “vrais” clients



deathscythe0666 a dit:


Donc la fiabilité des tests est limitée.




Pas vraiment, car l’ARCEP ne fait pas un benchmark de la 5G, mais des tests pour connaître la qualité de service offerte par un réseau dans son ensemble. Si la 5G offre de gros débits mais que l’opérateur sous-dimensionne le nombre d’antenne, les débits s’en ressentiront, et ses utilisateurs n’auront que faire de connaître les gros débits de la 5G quand il n’y a personne dessus, ce n’est pas ce qu’ils ont au quotidien.



Pour ce type de test, la fiabilité de la mesure est assurée de manière statistique, en faisant plein de mesures à différents endroits et différents moments de la journée, afin que des saturations occasionnelles soit noyées dans la masse et n’apparaissent pas (ou juste sur le débit minimum constaté, mais qui est sûrement aussi un minimum moyenné), mais que des saturations régulières apparaissent quand-même.



Inodemus a dit:


Pour ce type de test, la fiabilité de la mesure est assurée de manière statistique, en faisant plein de mesures à différents endroits et différents moments de la journée, afin que des saturations occasionnelles soit noyées dans la masse et n’apparaissent pas (ou juste sur le débit minimum constaté, mais qui est sûrement aussi un minimum moyenné), mais que des saturations régulières apparaissent quand-même.




Comme ça, effectivement, c’est pertinent :-)



laurent22 a dit:


Ca me semble bien compliqué de parler de multiplexage pour dire que la ressource radio (limitée) est partagée.




En quoi est-ce compliqué ?