Qualité de service : à la découverte de l’observatoire contesté de l’ARCEP

Promu par Bouygues Telecom, attaqué par Free, le premier rapport, en version bêta, de la qualité de service de l’Internet fixe du régulateur des télécoms a mis le feu aux poudres. Beaucoup de points ont fait polémiques : le financement, le prestataire choisi par les opérateurs, les points de mesure ou encore une méthodologie jugée fragile. Mais que contient-il vraiment ? Nous l’avons décortiqué et posé nos questions à l’ARCEP.

Fin novembre, le régulateur des télécoms (l’ARCEP) a publié un premier observatoire de la qualité du service fixe d’accès à Internet. L’autorité y compare les cinq principaux opérateurs (Bouygues Telecom, Free, Numericable, Orange et SFR) sur leurs principales offres en ADSL, câble et fibre. Particularité : le rapport est en « beta » et l’ARCEP multiplie les avertissements à chaque page, jusqu’aux annexes.

Mardi, Bouygues Telecom retirait une publicité vantant sa place de numéro un obtenue dans ce rapport. Après une mise en garde du régulateur, qui a suivi une mise en demeure de Free et de nombreuses critiques de spécialistes à propos de cet observatoire. Et même si le « trublion » refuse de s’exprimer publiquement sur le sujet, il n’en apprécie ni le fond, ni la forme, et cela peut se comprendre : Free y est classé dans la moyenne de la plupart des indicateurs et bon dernier sur le streaming vidéo, où il décroche complètement par rapport à ses concurrents. En cette période de fêtes de fin d'année, la concurrence ne pouvait espérer mieux.

Pourquoi publier cet observatoire et dans quel but ?

Mais reprenons les choses à leurs débuts. Depuis 1997, l’ARCEP publie en son nom un observatoire de la qualité de service mobile, avec les principaux opérateurs. Le régulateur adapte donc ici ce principe à l’Internet fixe, avec deux objectifs : améliorer l’information aux utilisateurs (avoir une idée de la qualité du réseau des opérateurs) et surveiller ce qu'il se passe concernant la question de la neutralité du Net (s’assurer que les fournisseurs d’accès ne dégradent pas la qualité de la connexion Internet principale pour certains services). L’ARCEP veut donner une idée des performances de chaque FAI pour ses clients. Ces mesures doivent compléter celles d’associations de consommateurs, comme 60 Millions de consommateurs par exemple.

Le régulateur dit ne pas pouvoir légalement mener lui-même ces tests. En fait, il demande aux opérateurs d’effectuer les mesures de leurs réseaux et de lui envoyer les résultats. Pour cela, lesdits opérateurs ont choisi un prestataire (IP-Label), qui doit mettre en place les points de mesure et leur envoyer les données obtenues. Dans les faits, les résultats ne transitent pas obligatoirement par les FAI. Une situation qui n'est pas sans rappeler celle du mobile où les mesures sont faites en collaboration avec Directique, qui a pour clients des opérateurs faisant là aussi partie du panel de test.

Qui finance le dispositif et décide la méthode à suivre ?

Le prestataire (IP-Label) et le dispositif sont financés par les opérateurs eux-mêmes. L’ARCEP a sélectionné des offres comprenant au moins 100 000 abonnés pour des questions de coûts. « Il serait disproportionné de l'imposer à de plus petits opérateurs », explique l’autorité dans son tchat avec les internautes, organisé le 4 décembre. D’autres FAI auraient demandé à intégrer la prochaine vague de mesures. De son côté, OVH nous précise par exemple que si l'« ARCEP étendait son étude à d’autres acteurs, nous en ferions la demande ».

Les détails de l’observatoire ont été définis par un comité technique, composé d’un côté de représentants des cinq opérateurs mesurés, de la Fédération française des télécoms (FFT) et de l’autre de l’ARCEP, de sept associations de consommateurs (dont l’UFC et La Quadrature du Net) et d’experts (INRIA et AFNIC). Dans les faits, certains membres auraient été plus présents que d’autres, y compris entre les opérateurs. Pour l’ARCEP, comme nous le révélions début décembre, les critiques de Free feraient suite à un engagement réduit dans le comité technique ; ce dont Free se défend en privé. Pour autant, une domination des opérateurs au sein de ce comité technique reste encore à prouver.

Qui a choisi le prestataire pour effectuer les mesures ?

Le prestataire de mesure, IP-Label, a été choisi par les opérateurs du comité technique. La Fédération française des télécoms (dont Free ne fait pas partie) a coordonné  l’appel d’offres qui a mené à ce choix. Un choix validé par le comité technique, ARCEP compris. Détail qui a son importance : IP-Label a pour clients Orange, SFR, Bouygues Telecom et Numericable.

« Les cinq opérateurs cumulés ne représentent qu'une faible part du chiffre d'affaires d'IP-Label », explique l’ARCEP dans son tchat avec les internautes, sur la base de données envoyées par le prestataire. De plus, « il n’y a pas mille entreprises capables de mettre en place un tel dispositif » de mesure, affirme un spécialiste du dossier proche de l’ARCEP. IP-Label est également certifié « NF ISO 9001:2008 ».

Autre garantie, consentie « par écrit » par les opérateurs : l’ARCEP peut auditer à tout moment le travail effectué et interagir directement avec IP-Label, « notamment pour échanger des données et préciser le fonctionnement du dispositif » selon le rapport. Selon le même proche de l’ARCEP, l’autorité « ne peut pas vraiment vérifier si un opérateur triche ou non ». Tout juste le régulateur dispose-t-il de sa capacité d’audit.

Contacté sur le sujet, IP-Label a malheureusement refusé tout entretien, évoquant « le secret du contrat » et renvoyant aux experts de l’ARCEP.

Quels sont les indicateurs mesurés ? Quels sont les résultats ?

Six indicateurs sont mesurés : trois techniques et trois « d’usage ». Côté technique, il s’agit des débits montants et descendants, de la latence et de la perte de paquets. Les lignes sont testées avec des « mires » placées sur Internet. Certaines sont « proches », c’est-à-dire directement interconnectées avec le réseau de l’opérateur, pour représenter des conditions idéales. D’autres sont « lointaines », séparées de l’opérateur par un ou plusieurs réseaux, pour représenter des conditions plus réalistes. Leur emplacement a été choisi par les FAI.

Sur les usages, l’observatoire a analysé de la navigation web (sur 14 sites populaires selon Médiamétrie, français et étrangers), le streaming vidéo (sur YouTube, Dailymotion, Vimeo et Metacafe) et le téléchargement en pair-à-pair (téléchargement de la dernière version d’Ubuntu pendant 60 secondes). Le streaming vidéo dispose de sous-indicateurs comme le temps de négociation, la fluidité ou le nombre d’interruptions de la lecture.

Les résultats, eux, sont disparates dans cette première version. L’ARCEP n’a publié qu’un résultat commun à tous les opérateurs pour les indicateurs techniques, les problèmes de méthode étant trop nombreux. Orange, notamment, n’a pas fourni son forfait le plus populaire en fibre optique, empêchant la mesure. Les résultats eux-mêmes ne sont pas surprenants : les performances des lignes ADSL sont moindres que celles du câble, qui se fait écraser par le FTTH à 100 Mb/s ou plus.

Concernant les usages, Bouygues Telecom est majoritairement premier, suivi de près par Orange, puis par SFR et Free. Sur le streaming vidéo en ADSL, Free décroche et affiche des résultats bien en deçà de ses concurrents, qui sont eux dans un mouchoir de poche (voir notre article). SFR est par contre distancé sur le débit de téléchargement en P2P, de peu.

Les lignes mesurées sont-elles représentatives de celle d'un client final ?

« Les mesures ont été effectuées sur trois à six lignes par catégorie d’accès, réparties sur huit sites en France métropolitaine, dans des conditions permettant de s’affranchir d’un grand nombre de biais », affirme l'ARCEP dans son rapport. Les forfaits testés sont les offres « triple play » les plus vendues dans leur catégorie ou doivent au moins représenter 30 % des ventes.

Le régulateur prévient pourtant bien des biais de son étude : un nombre très limité de points de mesure (dont certaines lignes tirées spécialement pour être mesurées), l'usage d'un équipement performant en Ethernet (pas de Wi-Fi ou de matériel lent) et pas d'usage en parallèle de la connexion. En clair, il ne s'agit pas de mesurer l'expérience qu'a l'utilisateur mais la qualité du réseau jusqu'à sa box (et encore, dans des conditions idéales).

Voici d'ailleurs à quoi ressemble « un site de test »,  dont le seul point commun avec la configuration d'un particulier est la présence d'une box (dont la configuration n'est pas précisée) :

Pour chaque indicateur, plusieurs types de lignes sont testés. En ADSL, sont testées des lignes courtes, moyennes et longues (simulées en appliquant une atténuation du signal). En câble, des connexions jusqu'à 30 Mb/s et jusqu'à 100 Mb/s sont essayées. En fibre, des connexions à 100 Mb/s, avec pour référence des connexions à 200 Mb/s, alors que les offres actuelles proposent déjà 300 Mb/s, voire 1 Gb/s. Selon l'ARCEP, ces vitesses pourraient être prises en compte dans une prochaine version.

Les forfaits mesurés sont donc les plus populaires de chaque catégorie, en évitant au mieux l’influence des options sur le débit, comme la TV. Certains pans entiers des abonnements sont oubliés, comme les abonnés non-dégroupés des opérateurs alternatifs ou les 20 % d’abonnés ADSL qui ne sont pas passés en ADSL2+. On regrettera également que le VDSL2 ne soit pas encore pris en compte, alors que cette technologie est pourtant ouverte à toutes les lignes (à condition qu'elles soient suffisamment courtes) depuis plusieurs mois maintenant. Le régulateur précise néanmoins que le « VDSL sera inclus dans le dispositif pour le prochain cycle de mesure ».

Concrètement, l’ARCEP dit ses mesures représentatives, mais pas trop. Elles sont censées donner une idée générale du réseau mais ne peuvent pas tenir compte des disparités géographiques ou des équipements en bout de ligne. Interrogée dans une série de questions, l’ARCEP s’est refusée à répondre sur la provenance ou la configuration des box Internet utilisées pour les mesures. Ces détails semblent même échapper au régulateur dans cette première vague de mesures.

Les mesures sont-elles réalistes ?

Sur ce point, l’ARCEP tient à rester muet. Nos nombreuses questions à ce sujet sont restées lettres mortes et le rapport ne va pas en profondeur dans les choix techniques. Concrètement, ces mesures ont été effectuées du 26 mai au 30 juin, une période « exceptionnellement courte », qui a précédé l’arrivée de certains experts de l’ARCEP sur le dossier.

L’ARCEP a aussi refusé de répondre à nos questions concernant ces indicateurs. Sur le streaming vidéo, les mesures sont effectuées à partir de vidéos précises. Les résultats peuvent « varier » d’une plateforme à l’autre, selon leurs choix techniques (privilégier le temps de chargement, la fluidité, etc). Le régulateur n’a pas su répondre quant à l’influence des caches et CDN de ces plateformes, à part que c’est un point soulevé par les experts en comité technique, qui aurait été adressé. Sur les quatre plateformes utilisées, le choix de Metacafe peut interroger, tant elle est peu utilisée par les internautes français. Les lignes ADSL longues ont aussi droit à des conditions spéciales. Au lieu d’une vidéo en 720p à 4 Mb/s, ces lignes sont testées dans une version en 360p.

Concernant le téléchargement BitTorrent (une image d’Ubuntu pendant une minute), il est difficile de dire la mesure représentative. La période de téléchargement est trop courte pour subir les aléas classiques d’un téléchargement pair-à-pair, en fonction des sources disponibles. De même, le téléchargement d’Ubuntu est loin d’être l’usage principal de ce protocole. Ce choix s’explique tout de même par les contraintes de l’ARCEP : pouvoir répéter le test de nombreuses fois, à tout moment. Interrogé sur la possibilité d’intégrer d’autres plateformes, l’ARCEP n’a pas répondu à nos sollicitations.

Les mesures ont été menées aléatoirement, sur deux plages horaires : de 7h à minuit pour représenter une « journée complète » et de 18h à 23h pour la période où le réseau est le plus chargé. L’ARCEP ne nous a pas répondu précisément sur ce point, non plus. Nous ne savons donc pas si les mesures « aléatoires » le sont réellement, ou si elles sont éventuellement compensées pour avoir une répartition équitable entre tous les types de lignes.

Pourquoi ce bilan de qualité de service fixe fait-il polémique ?

Même si l’observatoire est un premier essai, aux mesures criblées de problèmes, l’ARCEP a décidé d’en publier les résultats fin novembre. Avec un avertissement clair : la prudence est de mise et les résultats ne représentent rien. Il n’est donc pas question de s’en servir, encore moins commercialement. Pourtant, dès le lendemain, Bouygues Telecom vante publiquement les bons résultats de son réseau, présenté comme grand gagnant de cet observatoire.

Un affront pour Free, bon dernier sur certains indicateurs d’usage, qui met en demeure son concurrent et l’ARCEP début décembre. Le trublion souhaite que Bouygues Telecom cesse « toute communication » sur l’observatoire. Bouygues répond que « dans le communiqué nous avons renvoyé au rapport de l'Arcep par une mention spécifique et que ce rapport dit (quasiment à chaque page....) qu'il y a des précautions à prendre », mais sans mettre de lien direct, c'est donc au lecteur d'aller chercher les avertissements. La qualité du réseau (fixe ou mobile) est un des principaux axes de communication des opérateurs, pour se vanter et dénigrer les concurrents. En utilisant ce rapport, Bouygues Telecom a jeté de l’huile sur le feu.

Du côté de l’ARCEP, on répond simplement que c’est un travail utile, qui devait être publié. « L'ARCEP a considéré que ces données, même incomplètes, présentaient un intérêt pour le public. Il s'agit d'une première version qui nous permet de faire de la pédagogie sur un sujet complexe », déclare l’autorité dans son tchat du 4 décembre. Le ton change quelque peu quant à l’utilisation par Bouygues Telecom, virant presque à l’agacement. Selon un responsable du régulateur, le but premier n’est pas de « servir la communication » des fournisseurs d’accès. « Ce n’est pas du tout l’esprit », ajoute-t-il.

Réaction le week-end dernier : l’ARCEP réitère ses mises en garde, notamment sur l’utilisation commerciale de ses données… suivie mardi 9 décembre de l’annonce du retrait de la campagne de Bouygues Telecom. Cela après quelques jours de diffusion et une sollicitation de l'Autorité de Régulation Professionnelle de la Publicité (ARPP), comme nous le révélions mardi.

Pourquoi ne pas faire du speedtest chez les utilisateurs ?

C’est prévu dans un second temps. En plus de l’outil de mesure financé par les opérateurs, l’ARCEP prévoit un « outil complémentaire » consistant en un outil de speedtest proposé aux internautes. L’autorité refuse pourtant de donner plus de détails. Sollicité plusieurs fois, le régulateur n’a pas encore de calendrier à donner, et encore moins de nom de prestataire ou d'informations concernant le financement dudit dispositif. Les travaux sur ce second outil doivent débuter l’année prochaine.

Interrogée sur une mesure « chez les internautes », avec un boitier branché à la box d’abonnés volontaires (comme le proposent le RIPE Atlas ou SamKnows), l’ARCEP botte en touche. Tout juste sait-on que cette possibilité a été envisagée avant d’être rejetée, l’autorité n’ayant notamment pas les moyens de financer un tel projet. Rien ne dit néanmoins que cela ne viendra pas plus tard, pour une prochaine version de l’observatoire.