Ce matin, les clients de BNP Paribas n'arrivaient pas (ou difficilement) à accéder au site et aux applications mobiles de la banque (et ceux de Hello bank!). En cause, un souci sur des serveurs de la banque, qui a été réglé dans la matinée, ce que nous confirme la banque.
Les journées s'allongent, le thermomètre grimpe, pas de doute l'été arrive. Mais le mois de juin est également celui des pannes aux origines surprenantes. Alors que nous relations récemment les nombreux refus de 3D Secure à cause d'un nom de domaine non renouvelé à temps, c'était au tour de BNP Paribas d'être dans la tourmente ce matin.
Site et applications mobiles ne répondent plus
Tout a commencé avec des messages à répétitions de clients sur Twitter indiquant qu'ils n'arrivaient pas à accéder à leur espace client. Le compte @BNPParibas_SAV répondait alors qu'il « s'agit d'un incident généralisé » et que ses « équipes techniques œuvrent à sa résolution ».
Bonjour, ns rencontrons un incident général sur nos sites et applis. Les équipes technique travaillent à la résolution. Navré pour la gène.
— BNP Paribas SAV (@BNPParibas_SAV) 20 juin 2017
Rapidement, la cause est identifiée par Stéphane Bortzmeyer, spécialiste des réseaux : il s'agit en fait d'un problème de DNS. Contacté par nos soins, il nous explique que lorsque le site et les applications mobiles tombent en même temps, il y a des chances que ce soit à cause des DNS. Ce n'est évidemment pas la seule possibilité, mais une piste à explorer. Un concept gagnant cette fois encore. Dans ce billet de blog, il donne d'ailleurs toutes les explications techniques.
Deux serveurs DNS internes... dont un qui n'existe pas !
Pour résumer, les requêtes vers « .bnpparibas » fonctionnaient correctement. Le problème se situe en-dessous, pour les sous-domaines « xxx.bnpparibas ». Tous ces noms sont délégués à deux serveurs de noms, sns5.bnpparibas.net et sns6.bnpparibas.net nous précise Stéphane Bortzmeyer.
Problème, « sur ces deux serveurs de noms, l'un n'existe pas, l'autre est en panne (ou bien victime d'une attaque par déni de service) » déclare Stéphane Bortzmeyer. Pire, le premier n'aurait tout simplement jamais existé, faisant ainsi reposer l'ensemble des redirections vers un seul serveur, ce qui est évidemment tout sauf une bonne idée.
Avec les soucis rencontrés par le second, la résolution du nom de domaine ne pouvait pas se faire correctement, rendant très difficile, voire impossible, l'accès aux sites web, aux applications mobiles et aux API. Le problème est depuis rentré dans l'ordre avec un retour à la normale.
Cet épisode, s'il n'a pas été tragique pour les données personnelles des clients, soulève la question de la résilience des réseaux. « Deux serveurs DNS faisant autorité, ce n'est en général pas assez (surtout si un des deux n'existe en fait pas) » explique le spécialiste Stéphane Bortzmeyer. Il en profite d'ailleurs pour rappeler les bonnes pratiques à adopter.
BNP Paribas botte en touche et rejette la faute sur un pare-feu
Contactée par nos soins, BNP Paribas nous confirme qu'un « incident technique » a eu lieu en début de matinée, sans entrer davantage dans les détails. La banque ajoute qu'il a eu pour conséquence de rendre indisponibles les sites et applications mobiles « mabanque » de la société, ainsi que ceux de Hello bank! qui fait partie du même groupe.
BNP Paribas nous précise que la cause de cet incident est « un problème technique interne sur son pare-feu », et qu'il n'est pas lié à des éléments extérieurs. Le souci a été réglé aux alentours de 10h, avec un retour à la normale dans la foulée. La banque en profite pour présenter ses excuses à ses clients.
Le groupe n'a par contre pas souhaité nous répondre précisément sur son organisation interne et sur le fait que l'un des deux serveurs DNS n'existe pas.
Commentaires (62)
#1
Toi aussi, achète un TLD et mets un (unique) serveur Windows 2000 derrière
" />
" />
Le TTL renvoyé par le serveur, lorsqu’il marche, est de seulement 30 secondes.
BNP admins :
#2
ils n’ont qu’a demandé un prêt à bnp pour acheter des dns
#3
Merci Bortzmeyer !
je salue au passage le :
En cas de panne imprévue, il faut facilement plusieurs heures pour réparer (l’essentiel du temps étant consacré à paniquer en criant).
#4
#5
#6
Clair. D’une façon générale ça montre bien que c’est pas la taille d’une boite ou d’un groupe qui amène à des bonnes pratiques niveau IT.
1 DNS sur 4 qui répond pas sur le TLD, deux serveurs DNS en dessous dont un qui existe pas..
Les gars s’achètent un TLD, et mettent pas les moyens derrière quoi.
#7
Bof c’est surement pour faire du loadbalancing ou failover du pauvre
" />
#8
Le TTL renvoyé par le serveur, lorsqu’il marche, est de seulement 30 secondes.
Ok, c’est super (trop) court, mais je comprends pas vraiment qu’il les aligne dessus pour une question de résilience …
au contraire un TTL long peut-être handicapant pour une propagation en urgence vers un autre serveur …
Qu’est-ce que je rate ?
#9
#10
#11
Pas Atos
#12
hmmm en 2011 il me semble qu’ils avaient signé un accord de 6 ans avec IBM pour la gestion de leur informatique .. ( je ne suis pas certain)
#13
Ah bah voila, ils ont du caler un vieil AS/400 dans un couloir en disant que ça ferait l’affaire
" />
#14
je pense pluto à un Z … un as/400 ça serait un peu court
" />
#15
#16
problème de firewall ? ils ont fait la mise à jour de la suite open office ?
#17
Ah bon, tu crois ?
" />
#18
Pluzun
" />
" />) à me faire brancher/débrancher/rebooter/reconfigurer tout mon équipement, et au bout de 2h, “ah mais en fait ça vient de chez nous, veuillez patienter”. Bordel même le robot qui répond l’avait détecté, et les hotlineurs ne le savaient même pas !
Je suis curieux de savoir qui c’est :tranpi: (même si j’ai une vague idée, le choix étant assez limité).
Rien à voir mais c’est Bouygues Télécom ça chauffe aussi, une partie de la journée ils ont eu des serveurs (?) en carafe. Ce qui est marrant c’est que le répondeur de leur SAV détecte de suite une panne chez eux : en tapant sur 1/2/3, j’ai eu un message “nous avons détecté un incident sur votre secteur”. Puis là j’ai 2 personnes, qui passent 2h (
Bref j’ai perdu ma matinée, et je suis obligé de reconfigurer (pour la énième fois) tous les paramètres de ma box parce que ces andouilles m’ont fait faire un reset inutile. Ca ne fait que le 12e depuis janvier…
#19
#20
#21
Cela m’a bien emmerder le matin, de plus dans mon agence les dépôts d’espèces été aussi en panne heureusement que ce n’était pas le jour des paies.
" />
#22
Mépris ou méconnaissance quasi généralisé des bonnes pratiques liées au DNS plutôt 😑
https://www.shaftinc.fr/dns-parent-pauvre.html
#23
Super intéressant ton blog, j’irai un peu plus en profondeur quand j’aurai un peu de temps devant moi 
" />
#24
Bonjour,
Pour être parfaitement au courant de cet incident, je suis assez amusé par toutes les théories évoquées.
En aucun cas Stéphane Bortzmeyer a identifié la root cause de cet incident qui n’a absolument rien à voir avec le DNS. Je pense qu’il n’a même pas idée de l’infrastructure DNS qui focntionne derrière tout ça, ni présumer d’un quelquonque niveau de redondance depuis sa chaise en passant 3 lignes de commandes….
Bref, au final assez marrant quand on compare la réalité et ce que chaque internaute expert peut penser.
Mais il est bon ton de juger sans rien connaitre il faut croire….
Sans rancune.
#25
Bortzmeyer il accuse toujours les DNS…alors qu’apparemment ici il s’agirait d’un problème avec un parefeu Openoffice
#26
Merci pour ce commentaire plein d’informations utiles
" />
#27
s’il bosse réellement pour la BNP il ne peut rien dire….
#28
Je m’en doute, mais ce n’est pas pour autant utile.
#29
Le tour en est vite fait ^^
#30
Non, le service commercial a acheté un tld. Le budget IT n’a pas été augmenté car les commerciaux avaient vendu à la direction que ce serait sans impact.
" />
#31
si il peut envoyer un mail chiffré a nextinpact, qui se fera un plaisir de faire un petit resumé en protegeant les sources
vu que ca a l’air d’un warrior, pas du boulot le mail chiffré !
#32
BNP Paribas botte en touche et rejette la faute sur un pare-feu
Vous savez, une règle foireuse qui est poussée sur les firewalls et met en black-out tout un datacenter, ça arrive plus souvent que vous ne pouvez l’imaginer.
J’ai connu deux datacenters qui ne pouvaient plus ni se voir, ni le reste du monde, pendant une matinée (impact : plus d’une centaine de magasins hors ligne qui passent en dégradé en stand alone…et pas des supérettes de quartier mais plutôt de l’hyper qui brasse quelques centaines de milliers d’euros par jours) à cause d’une règle mal codifiée qui les a isolés chacun de leur côté.
Autre cas amusant, une règle poussée depuis un service situé à l’autre bout de la planète et qui paralyse tout le réseau.
Le plus drôle dans l’histoire, c’est de trouver la cause racine justement… Et comme la mode est de tout centraliser et externaliser dans du claouwdeuh avec de moins en moins de maîtrise de son infra et de ses applications, je me dis que ces incidents vont se multiplier comme des Gremlins sous un Canadair
Pour reprendre ce qu’a dit l’un des commentaires : on a la qualité de service IT pour laquelle on met le prix. Payer au lance-pierres un forfait vendu au rabais par une SSII qui colle derrière des gamins sortis de l’école avec autant d’expérience que le premier mec venu dans la rue (ou simplement parce qu’il sait parler français/anglais, coucou la délocalisation
#33
.
#34
Ça sent la réduction de coût ça !
#35
Ah, tu travailles pour Bp2i ? Pourtant les problèmes DNS, c’est pas quelque chose qui vous est inconnu…
#36
En même temps quand les gens au courant parlent pour au final ne rien dire c’est pas bien mieux, c’est un service qui n’a pas fonctionné pour un paquet de clients (dont moi, mais plus pour très longtemps) donc un peu de communication autre que “cay le pare feu lol” ça peut être pas mal surtout pour ce genre de service assez sensible.
#37
“Mais si mais si, on prend un .bnpparibas à 120 000$, ca le fait trop d’avoir un domaine surpuissant, les clients vont être épatés.”
Le pouvoir des décisionnaires vs ceux qui y connaissent quelque chose.
#38
Je ne sais pas chez qui aller
" />
" /> Au final chez BT c’est des nuls mais au moins j’ai la fibre pour pas cher… Donc j’y reste en attendant de me décider.
BT j’en pars, Orange j’y étais et j’ai eu des soucis à la résiliation, ils me réclament des factures non dues, donc impossible d’y retourner (et en plus leur box était moisie, je la redémarrais 3 fois par jour), SFR leur gestion commerciale et sociale me bloque, et Free ne me propose que l’ADSL (difficile d’y retourne quand les autres ont la fibre 1 Gbps).
Je sais, je fais le difficile
#39
#40
#41
Avec le temps, on se rend compte que les erreurs à la con, plus un support tech pas toujours doué en troubleshooting ca peut faire de jolis temps d’arrêt
" />
" />). Et les deux supports de me répondre “c’est impossible, il ne peut y avoir qu’une seule adresse ip sinon conflit” donc ils ont compris la théorie… mais pas qu’une erreur humaine est possible 
" />
L’IP public attribuée à deux clients: ca arrivé à deux de mes clients avec deux fournisseurs différents (deux pannes séparés hein
Le routage : même pas besoin de foirer le firewall quand tu insères quelques routes foireuses… bénis soit traceroute. Mais non le support te force a redémarrer ton modem, te dit que le site est peut-être indisponible etc…
Le firewall : la règle de test en priorité qui pète l’intégralité des autres règles à cause d’un scope trop large \o/ … mais personne n’a rien touché hein…
#42
Ce n’était pas une critique, je ne doute que ce n’est pas le meilleur job du monde. Seulement côté client c’est assez lourd de devoir toujours réexpliquer le problème (à croire que les dossiers ne sont pas informatisés), toujours refaire les mêmes manips (comme je changer de câble pour la 38e fois aller changer quelque chose si cela n’a rien fait pour les 37 fois précédentes). Mais je me doute qu’ils sont obligés de respecter la procédure, de cocher des cases sur leur checkbox. Seulement quand tu t’y connais un minimum, et que tu sais que c’est inutile, c’est vraiment chiant.
#43
#44
Je choisis toujours la 1e solution, parce que je ne gueule jamais sur un hotliner, question de respect. Par contre j’appuie bien sur le fait que je l’ai déjà fait plein de fois mais ils n’en démordent pas, il faut refaire avec eux. Hier j’ai été coupé avec la 1e personne, je rappelle et tombe sur une autre, qui me fait refaire exactement la même chose que la 1e
" /> Il faut vraiment avoir du temps devant soi. Ca tombe bien hier j’en avais, puisque je n’avais plus de connexion justement 
" />
#45
Quand tu t’y connais un minimum tu sait déterminé quel est le problème et bien souvent t’as même pas besoin de faire appel à la hotline.
Sauf pour demander ou en es le travail du tech qui s’occupe du problème si il es situé plus haut que chez toi.
#46
Disons que quand tu n’as plus aucune connexion, tu perds tous les services d’un coup, et que tu n’as rien touché chez toi, tu peux te douter que c’est un problème chez l’opérateur, mais tu ne peux rien faire sans lui
" />
#47
Tu ne feras rien de plus non plus ma fois en l’appelant à part te prendre la tête avec un mec au téléphone qui n’est pas au courant car ça communique pas entre le terrain et les bureaux de hotline..
Donc l’un dans l’autre, tu perds ton temps à appeler des fois c’est mieux de prendre son mal en patience et d’attendre que la synchro revienne.
Une bonne astuce quand c’est comme ça : partage de 4G en USB.
#48
Moi je suis chez Orange, la première chose que j’ai fais quand le tech est partis c’est virer la livebox et foutre un routeur ERL3 juste après L’ONT.
Ça déboite ;D
#49
Certes mais j’aime bien faire savoir que “ça marche pas”, ça doit être mon inconscient qui se défoule car je suis de l’autre côté au boulot
" /> Et au moins j’avertis, s’il y a 200 personnes qui font pareil ça accélèrera peut-être la résolution.
" /> Pourtant mon smartphone (Redmin 3S) est quasi-neuf (acheté en mars), donc c’est peut-être un problème de l’opérateur ? (oui, je suis aussi chez BT sur le mobile 
" />)
Et j’ai essayé le partage de connexion mais impossible d’y arriver
#50
Je ne suis pas assez calé pour faire de genre de manipulation
" />
Et en cas de pépin y’a plus personne pour m’aider, car je n’aurai pas la config officielle d’Orange.
#51
Nan penche toi plutôt vers des mises à jour de pilotes sur ton PC.
Ensuite sur quel mode est utilisé sur ton smartphone quand tu le branche (recharge USB/MTP/PTP)
Le partage de connexion ne marche qu’avec le mode recharge USB si je ne me trompes pas.
Ensuite tu peux te pencher du côté connectique. Port USB 3 ? essayer de l’USB 2 ? le câble est il défectueux ? Essaye en un autre.
#52
Quand je recharge, je suis en “charge uniquement”. Quand je transfère, je suis en “Transférer des fichiers (MTP)”. Le 3e c’est “Transférer des photos (PTP)”.
Quel est le mode à choisir pour partager la connexion ?J’autorise le partage par USB, mais le message reste à “partage des connexions en cours”. En cours ça signifie qu’il tente le partage ? Ou qu’il a réussi ? Parce que ça reste impossible d’afficher la moindre page web avec cette connexion.
#53
Peut-être parce que les instructions sont de respecter strictement les fiches dous peine de sanction ?
#54
Je sais pas ce qu’ils ont fait d’ans l’urgence, mais la partie DNSSEC n’est toujours pas complète:http://dnssec-debugger.verisignlabs.com/bnpparibas.net .
#55
Normalement tu dois rester en recharge par USB.
Tu connecte ton portable sur de l’USB 2 puis tu partage ta connexion.
Sur ton pc il te demande ensuite quel type de connexion c’est (Domicile, Bureau, etc..)
Et une fois tout ca fait normalement ca marche.
#56
Perso, j’ai arrêté les pare-feu Open Office. Je suis passé aux pare-feu Libre Office
#57
#58
#59
#60
ah mais je ne suis pas calé du tout non plus.
J’ai pris le tuto sur le net, j’ai commandé et j’ai fais étape par étape, j’ai un peu galère mais ça fonctionne maintenant ^^
Il était hors de question que je laisse la livebox vu que tu ne peux rien faire dessus.
#61
#62
D’accord.
Merci :)