[MàJ] France-IX : retour à la normale après un incident, une enquête en cours

[MàJ] France-IX : retour à la normale après un incident, une enquête en cours

Et là, c'est le drame

Avatar de l'auteur
Sébastien Gavois

Publié dans

Internet

16/07/2013 2 minutes
33

[MàJ] France-IX : retour à la normale après un incident, une enquête en cours

France-IX, est un point d'échange internet important en France qui compte huit points de présences (PoP) et plus de 200 membres. Parmi les fondateurs, on retrouve des sociétés de renom comme Akamai, Bouygues Telecom ainsi que Google. Ce matin entre 10h et 11h il a dû faire face à un souci technique.

Ce matin, entre 9h45 et 11h, France-IX a rencontré un gros souci de disponibilité. En effet, comme l'indique la page des statistiques, le trafic a brutalement chuté avant de revenir progressivement à la normale en début d'après-midi :

 

France IX

 

Depuis, l'association s'est expliqué sur l'incident qui a débuté lors d'une opération de maintenance qui ne s'est pas déroulée comme prévue. En effet, entre 9h et 12h un châssis cœur de réseau devait être mis à jour sur Telehouse-2 afin d'y insérer une carte dotée de quatre ports à 10 Gb/s, tout en augmentant à 30 Gb/s la bande passante de la fibre vers Interxion 2.

 

Si « aucun impact sur le service n'était prévu », tout ne s'est finalement pas passé comme il était attendu. En effet, une carte installée lors d'une précédente maintenance s'est mise à redémarrer en boucle, « ce qui a eu comme effets de bord et une instabilité sur les châssis et les liens backbones ». De fait, il y a eu de nombreuses pertes de paquets via France-IX, mais les clients ont rapidement pu rediriger leur trafic vers d'autres itinéraires, évitant ainsi une panne d'envergure. Cela explique pourquoi les utilisateurs n'ont pas spécialement noté de coupure ou de ralentissement.

 

Le serveur web de France-IX ainsi que son portail de statistiques sont hébergés sur un des serveurs qui a été directement touché par la panne, ce qui explique que les chiffres soient tombés à zéro alors que, dans la pratique, « le trafic échangé sur la plateforme a toutefois été réduit et non annihilé ».

 

France-IX précise enfin qu'une enquête est en cours afin d'éviter qu'un incident du genre ne se reproduise.

Écrit par Sébastien Gavois

Tiens, en parlant de ça :

Sommaire de l'article

Introduction

Fermer

Commentaires (33)


C’est le debut de la fiiiinnn!! FUYEZ!


La solution à la surveillance du réseau à été trouvé: plus de réseau = plus de risque d’espionnage!



edit: ou alors hadopi à frappé…


quand on regarde les stats mensuelles, on voit bien les zéro tous les 1015 jours








kosame a écrit :



quand on regarde les stats mensuelles, on voit bien les zéro tous les 1015 jours





Pas faux finalement cela n’a pas l’air vraiment anormal…



Surement que ca tourne sous windows et que windows update a fait une mise a jour necessitant un reboot <img data-src=" />





Problème, il connait actuellement un problème et le trafic s’effondre





C’est un fait ou c’est basé sur les stats ?








Marc4444 a écrit :



C’est un fait ou c’est basé sur les stats ?







C’est un fait (confirmé par France-IX et par les stats) <img data-src=" />



c’est un fait aussi, à 10h, tout plein de serveurs distants ont viré au noir dans mon nagios <img data-src=" />



revenus vers 10h05


Skynet a lancé son attaque, on nous avait prévenu que ce serait pour 2013 et non 2009 <img data-src=" />


Ah merde…

Le NSA a testé sa nouvelle arme anti-web?



Ou alors ils ont installé de nouveaux serveur de captation, mais ils ont oublié de leur dire de laisser passer les flux au lieu de les couper <img data-src=" /><img data-src=" />








pti_pingu a écrit :



Skynet a lancé son attaque, on nous avait prévenu que ce serait pour 2013 et non 2009 <img data-src=" />





Le jugement dernier est inarrêtable <img data-src=" />



La semaine dernière, OVH est tombé à cause de FranceIX… C’était bien rigolo… <img data-src=" />


Une maintenance programmé qui n’a pas bien tourné



https://www.franceix.net/en/events-and-news/news/outage-16-07-2013/


Comme quoi les réseaux en étoile c’est quand même fragile :P. Vivement l’IP V6 car si je me trompe pas (pas encore eu le temps devoir le protocol dans son integralité) les routes seront dynamique et tiendrons compte de la charge directement dans le protocol.



En fait il dise que c’est une carte mais c’est Martine et son balai qui à mis un coup sur la prise <img data-src=" />








the_Grim_Reaper a écrit :



Le jugement dernier est inarrêtable <img data-src=" />





Nothing much happened. Michael Jackson turned 40. There was no Judgment Day.



ba la OVH a rien eu car j’ai rien eu perso ^^


Le 16/07/2013 à 17h 40

Bjr,



je suis tel une poule devant un couteau face à cette news: rien capté!



Qq aurait une paire de liens expliquant simplement komensamarche les backbones, les pop, le peering etc.

Rien compris sur le fait qu’une association loi 1901 gère des machins pour des boites privées mondiales concurentes (Illiad /SFR par ex)



Ce n’est pour devenir ingénieur IT, juste pour me coucher moins con ce soir…








mo6h a écrit :



La semaine dernière, OVH est tombé à cause de FranceIX… C’était bien rigolo… <img data-src=" />



Un croche-patte malencontreux au serveur ?



:dehors:









juliusc a écrit :



Pas faux finalement cela n’a pas l’air vraiment anormal…



Surement que ca tourne sous windows et que windows update a fait une mise a jour necessitant un reboot <img data-src=" />







<img data-src=" /> oui mais des fois, faut que les routeurs redémarrent, le trafic étant redirigé je suppose…









asxdr a écrit :



Bjr,



Rien compris sur le fait qu’une association loi 1901 gère des machins pour des boites privées mondiales concurentes (Illiad /SFR par ex)







L’orga à but non-lucratif s’est fréquent dans le fonctionnement d’Internet. L’ICANN est dans ce cas, et eux gère bien aussi importants que les interconnexions entre opérateurs (la distribution des IP, les AS et le DNS racine).



La structure asso à cette avantage pour un point de peering que tout opérateur qui veut s’interconnecter à France-IX devient membre de l’asso et peut donc participer au délibérations concernant ce point.



Et pis ya quand même au CA de cette asso, il y a Google et Bouygues Télécom.



En fait c’est sûrement un coup de la #DGSE !



<img data-src=" />









asxdr a écrit :



Bjr,



je suis tel une poule devant un couteau face à cette news: rien capté!



Qq aurait une paire de liens expliquant simplement komensamarche les backbones, les pop, le peering etc.

Rien compris sur le fait qu’une association loi 1901 gère des machins pour des boites privées mondiales concurentes (Illiad /SFR par ex)



Ce n’est pour devenir ingénieur IT, juste pour me coucher moins con ce soir…







Tentative d’explication, mais je ne suis pas trop dans le domaine :



Les FAI s’interconnectent entre eux, comme ça un freenaute peut aller voir un site web d’un orangenaute, qui peut faire un lien vers une vidéo youtube et tout le monde en profite. Les FAI peuvent faire du peering (échange de traffic) ou du transit (juste transmettre le traffic d’un autre FAI) dans ces points d’échange.



France-IX gère plusieurs de ces points d’échanges (POP). Donc un problème ici va potentiellement toucher pas mal de FAI. Normalement les FAI ne sont pas interconnecté qu’à un seul endroi, il y a une certaine redondance, pour éviter que quand justement France-X tombe, ça coupe de partout, mais en pratique en France quasiment tout passe par Paris.



Après le pourquoi une assoce ? C’est une question très politique sur le fonctionnement même d’internet.



Le backbone c’est juste de mega connexion entre ces points névralgiques d’internet.



Ah bah c’est pour ça que ce matin j’avais du mal!!

Tout s’explique!


lexique



FAI = Fédération Automobile Italiène

POP = Prince Of Persia



à vous de mettre de l’orde dans vos idées



———————-&gt; parti faire un tour à Imola <img data-src=" />








adrieng a écrit :



Après le pourquoi une assoce ? C’est une question très politique sur le fonctionnement même d’internet.







Disons que quand plusieurs groupes veulent s’interconnecter, ça permet d’avoir un organisme de gestion neutre (et tout les avantages qui vont avec le fait d’être une assoc) et qui en plus ne peut pas se faire de tunes sur leur dos. Ca doit leur coûter moins cher et leur permet d’avoir plus de contrôle que s’ils utilisaient un intermédiaire “payant”.

Je suppose que chaque entité qui s’interconnecte doit adhérer à l’assoc pour apporter sa part de financement.



une assoc c’est plus complexe que ça

pour commencer on paie la TVA sans pouvoir la récupérer

et donc quand on se permet un surcoût de 20% c’est qu’on a un montage savant pour ne pas payer d’impots. ( genre je paie du service à un tiers , je loue les murs à un autrre tiers et le nom déposé à un détenteur de nom … et tous ces tiers eux … font du bénef

On a déja vu ça quelque part non ? <img data-src=" />








adrieng a écrit :



Les FAI s’interconnectent entre eux







Pas que les FAI, mais tout les opérateurs de réseaux pour peu qu’ils ait un numéro d’AS attribué par l’ICANN ou toute autorité déléguée à en attribuer (RIPE et cie). La distinction me semble INportante car Internet n’est heureusement pas que l’interco de réseaux de FAI. (Y a aussi ne serait-ce que le réseau de la NSA et Skynet <img data-src=" />)







JoePike a écrit :



On a déja vu ça quelque part non ? <img data-src=" />







En France, oui une asso permet se genre de montage “exotique” (d’ailleurs France-IX, l’asso, possède l’unique action d’une société qui gère les affaires courantes du point de peering), mais c’est surtout lié au fonctionnement “historique” d’Internet et c’est important pour la neutralité <img data-src=" />









Kiroha a écrit :



Vivement l’IP V6 car si je me trompe pas (pas encore eu le temps devoir le protocol dans son integralité) les routes seront dynamique et tiendrons compte de la charge directement dans le protocol.





Non IPv6 ne change de ce côté là. Le fonctionnement reste en grande partie le même qu’IPv4. Et les routes sont déjà dynamique (cf. protocole BGP).



Curieux curieux …



Moi, dans les télécoms, j’ai appris à faire mes opérations programmées pendant les creux d’utilisation du réseau (en téléphonie mobile c’est vers 2h), ce qui correspondrait ici entre 4h et 6h.



Ainsi, on limite les impacts utilisateurs et on a le temps de rétablir avant que ce soit vraiment le bordel chez les clients.



Là, visiblement, ils mettent en production leur nouveaux paramètres une fois qu’ils ont papoté au café …. et juste pendant la montée en charge histoire que ça foute bien la merde. <img data-src=" />








luxian a écrit :



Curieux curieux …



Moi, dans les télécoms, j’ai appris à faire mes opérations programmées pendant les creux d’utilisation du réseau (en téléphonie mobile c’est vers 2h), ce qui correspondrait ici entre 4h et 6h.



Ainsi, on limite les impacts utilisateurs et on a le temps de rétablir avant que ce soit vraiment le bordel chez les clients.



Là, visiblement, ils mettent en production leur nouveaux paramètres une fois qu’ils ont papoté au café …. et juste pendant la montée en charge histoire que ça foute bien la merde. <img data-src=" />



c’est le timing à la <img data-src=" />



Today traffic for PAUPAUL ? <img data-src=" />


Même à ce niveau les équipements réseau ne se mettent pas forcément en sécurité pour isoler un lien foireux…

je croyais que c’était lié aux réseaux de misère de PME à base de procurve paramétrés par des consultants à la compétence variable.



Quelque part ça me rassure (ou pas) <img data-src=" /><img data-src=" />








yvan a écrit :



Même à ce niveau les équipements réseau ne se mettent pas forcément en sécurité pour isoler un lien foireux…

je croyais que c’était lié aux réseaux de misère de PME à base de procurve paramétrés par des consultants à la compétence variable.



Quelque part ça me rassure (ou pas) <img data-src=" /><img data-src=" />







C’est pas un lien foireux là mais une carte carrément ! et là à ma connaissances le switch/routeur voit le lien clean et ne désactive pas le lien. Apres tu passe ta carte en off et là les algo ce mettent en route.



Là ce qui c’est passé et on le vois sur le graph c’est que le temps de ce rendre compte que c’est la carte qui lâche et de la passer en off pour passer sur les liens de backup qui dans la majeur partit des cas sont moins puissant. Apres le trou de 30 minute je vois pas ? Normalement en changeant la carte et en la passant en UP ça aurait du repartir aussitôt et ne pas générer de trou.



jveux pas dire, mais y’a encore eu une énorme coupure d’ovh ce midi … qui correspond pile à ça :



https://www.franceix.net/fr/technical/traffic-statistics/



et comme par hasard :



http://travaux.ovh.net/?do=details&id=8994