OVHcloud : dans les coulisses de l’usine de Croix et du datacenter Roubaix 8

Dans son usine de Croix, OVHcloud assemble un peu plus de 1 000 serveurs par semaine en moyenne. Déballage des composants, découpe des châssis en aluminium, assemblage et test sous pression, toutes les étapes sont réalisées sur place. La société avait ouvert ses portes à plusieurs journalistes, nous étions du voyage. 

Dans la première partie de notre dossier, nous avions évoqué l’histoire (et l’avenir) du watercooling chez OVHcloud, ainsi que ses engagements environnementaux aux horizons 2025 et 2030.  

• 20 ans de watercooling OVHcloud : des évolutions nombreuses, d’autres à venir… et un « paradoxe »

Lors de notre déplacement, nous avons également visité son usine de Croix. Elle existe depuis cinq ans, mais OVHcloud assemblait ses serveurs, concevait ses baies et racks en interne déjà auparavant, mais sur son site historique de Roubaix. Nous sommes aussi passés dans datacenter Roubaix 8, qui compte actuellement près de 30 000 serveurs, sur une capacité totale de 40 000.

OVHcloud assemble près de 1 500 serveurs par semaine

L’hébergeur explique que son « usine de Croix a une cadence de production de 1 000 à 1 100 serveurs par semaine en moyenne ». Elle peut accélérer si besoin : « on est capable d’en faire 2 500 par semaine. On l'a fait à plusieurs reprises, jusqu’à sept à huit semaines d'affilée l'année dernière et l'année d'avant encore ».

Elle s’occupe de l’assemblage des serveurs pour le monde entier, à l’exception de l’Amérique du Nord, gérée par le centre de Beauharnois au Canada. Ce dernier dispose d’une capacité de production moyenne plus faible, aux alentours de 350 serveurs par semaine, mais il ne dessert que deux pays. Ces deux centres s’occupent également de récupérer les anciens serveurs. Suivant les cas, les composants sont remis dans la chaine de production, vendus à des brokers ou recyclés.

Le transport entre les différents pays et datacenters se fait par camions. Afin d’optimiser les coûts de transport et réduire l’empreinte environnementale, ils sont chargés à l’aller avec le matériel neuf et au retour avec les anciennes configurations. La cadence dépend des besoins : des allers-retours sont organisés tous les jours entre Croix et Roubaix (moins de 5 km à vol d’oiseau), contre une fois par semaine avec la Pologne par exemple. 

Dans l’usine de Croix, la chaine de montage se divise en deux parties complémentaires : le hardware (avec les composants) d’un côté, puis la mécanique avec la baie et le système de refroidissement de l’autre. OVHcloud tente au maximum de synchroniser ses deux chaines. En moyenne, il faut compter « deux jours et demi pour préparer les composants jusqu'à expédition », nous explique un intervenant. 

Aixmetal et Immostone des Klaba : des partenaires privilégiés d’OVHcloud

Les cartes mères, processeurs, RAM, HDD et SSD sont achetés chez divers fournisseurs. Pour construire les châssis et racks de ses serveurs, OVHcloud ne va pas chercher bien loin. Son voisin dans les locaux de Croix n’est autre qu’Aixmetal, une autre société fondée par les Klaba, mais indépendante d’OVHcloud. Si l’hébergeur roubaisien est un client privilégié (une immense porte permet de passer directement de l’un à l’autre), ce n’est pas le seul d’Aixmetal. 

OVHcloud nous explique au passage être locataire à Croix, tout comme Aixmetal. Les deux sociétés ont le même bailleur : Immostone, qui appartient également aux Klaba. D’ailleurs, Immostone « gouverne une partie immobilière d'OVHcloud ». 

Aixmetal, c’est « de la métallurgie pure avec du fraisage, de la découpe laser, du cintrage et de la soudure ». Cette entreprise livre à OVHcloud la « partie métallique construite, mais vide » des serveurs. Cela commence par une découpe laser, puis le châssis à plat « passe à travers des robots automatiques ou du semi-manuel ; puis à travers des opérations de pliage ». Les dimensions sont standard avec de nombreux pré-perçages afin de pouvoir y installer un maximum de configurations différentes.

Des châssis « dépouillés » avec des dizaines de combinaisons possibles

C’est ensuite au tour d’OVHcloud d’ajouter « différents mécanismes autour du réseau, du watercooling, de la distribution, de la puissance électrique… ». Les petits picots pour placer la carte mère peuvent être levés individuellement afin de s’adapter aux formats des cartes. 

Comme on peut le voir sur les photos, le châssis est « dépouillé », pour reprendre les mots de l’hébergeur : « il est ouvert et il n'y aura rien pour le refermer […] Avec un seul châssis, vous allez pouvoir avoir une combinaison énorme de serveurs ».

OVHcloud affirme que son châssis permet d’accueillir « 15, 20, 30 types de serveurs différents », mais notre interlocuteur reconnait qu’il « joue sur les mots : on n'a que quelques cartes mères adaptables, mais bon nombre de disques, de variantes de mémoire vive… C’est ainsi qu’on a de multiples possibilités avec un châssis ».

De la personnalisation pour OVHcloud, pas directement pour les clients

Au sein d’un même rack de 96 serveurs, « il peut y avoir vingt profils différents », mais ce sont principalement des changements sur la mémoire flash (stockage et/ou mémoire vive), car il faut tout de même une certaine uniformité au niveau d’un rack sur la puissance et le watercooling nécessaire à chaque serveur, précise l’hébergeur. 

Nous demandons à OVHcloud si de la personnalisation de serveur est possible pour un client, en plus des options qu’il propose : « Non, très peu, sauf si vous en voulez 10 000 ou 20 000… ». Il existe quelques exceptions, notamment un prototype de serveur bi-GPU sur lesquel l’entreprise « a travaillé avec le client sur le choix de la carte mère et du CPU », mais « c’est très rare » et « pas représentatif de notre métier ». 

Il n’est pas non plus possible d’apporter son propre serveur rackable et de demander à OVHcloud de l’installer dans ses datacenters. 

Du bi-GPU dans une baie de test

Des châssis et waterblocks ultra-standards

Aixmetal s’occupe aussi de la production des waterblocks. Ils sont « designés » et sous licence OVHcloud, qui fournit les plans à son partenaire. À charge pour ce dernier de réaliser les pièces. Il s’agit pour le moment d’usinage, mais de l’impression 3D est à l’étude. 

OVHcloud nous explique que, si « vous enlevez toute la partie tuyauterie, le waterblock est ultra-standard », c’est-à-dire qu’un seul modèle – compatible avec les CPU jusqu’à 250 watts de TDP – « va être utilisé dans 80 % des cas ». Ce qui fait la différence, c’est le cintrage et la tuyauterie, réalisés « en fonction de la carte mère et de la configuration ». Il y a autant de cintrages que de modèles de carte mère, nous précise un intervenant.

Si besoin, la société dispose aussi de « des blocs de watercooling universels avec des tuyaux souples ». 

Des tests air et eau… « On ne va pas se cacher derrière les fuites »

Une fois les serveurs installés et branchés dans la baie, l’entreprise procède à un premier test sous pression de son système de refroidissement, mais avec de l’air pour commencer. Avant d’être livrés, les différents éléments sont déjà testés par les fournisseurs avec une pression de six bar, alors que, « en service, il va y avoir un 1,5 bar d'eau ».

Ce premier essai grandeur nature permet de vérifier qu’il n’y a pas de fuite, avant de passer au second test avec de l’eau. Ce système en deux étapes est utile selon OVHcloud car « la molécule d'air est toute petite par rapport à la molécule d'eau », sans compter qu’il vaut mieux une fuite d’air que d’eau qui peut endommager les circuits. 

C’est seulement une fois ces deux étapes validées que la baie est branchée électriquement et que les machines sont allumées. Une nouvelle série de tests, logiciels cette fois, vérifie que les bons composants sont installés dans les serveurs. La baie est alors prête pour être expédiée dans son datacenter. 

Afin d’assurer des opérations de maintenance sans avoir à couper une baie complète, OVHcloud utilise des raccords rapides « 100 % étanche […] qui s'enclenche avec un effort et un double joint torique […] Vous pouvez racker et déracker sans vous poser la question de savoir s'il y a une bulle ». 

OVHcloud le reconnait : « On ne va pas se cacher derrière les fuites. On en a, mais l'idée, c'est d'en avoir le moins possible et de savoir les gérer. Le pire, c'est quand des fuites arrivent en datacenter ; donc il vaut mieux les trouver ici ».

Une baie vide, une baie avec du réseau et une baie montée

Des intérimaires sur le site, mais pas sur la partie « bench »

OVHcloud nous affirme ne pas avoir « d'intérimaires sur la partie bench et très peu sur la fin de l'assemblage. Là où on peut en avoir – quand on a besoin de gonfler les volumes – ça va être sur les premières étapes d'assemblage », mais le travail d’intégration est « toujours vérifié par le dernier » maillon humain de la chaine et lors des tests. Il peut aussi y avoir des intérimaires sur le déballage des composants. 

Concernant les tests sur le matériel qui revient à l’usine, le responsable parle d’une centaine par jour : « on a moins de capacité parce qu’on entre plus dans du comportement humain. Il faut positionner le CPU, sélectionner la carte mère, lancer les tests ».

Il y a davantage d’automatisme sur certains composants, les disques durs par exemple. Question sur les données, OVHcloud nous explique qu’elles sont effacées avant de quitter le datacenter, avec le degré de sécurité jugé comme nécessaire ou suivant les demandes des clients. Pour la mémoire vive, on remarquera qu’un bon vieux MemTest était en route sur plusieurs machines. 

Déjà 30 000 serveurs dans Roubaix 8

Nous sommes ensuite passés dans Roubaix 8… qui n’a absolument rien à voir avec Roubaix 4. Pour avoir visité les deux, on se rend compte des changements importants réalisés par OVHcloud dans la conception. Ici, des baies complètes sont empilées et forment ainsi des couloirs dans lesquels les techniciens peuvent passer. Comme toujours dans ce genre de salle, le bruit des ventilateurs est assourdissant. 

• Datacenter Roubaix 4 d'OVH : visite guidée

Roubaix 8, ce sont environ 30 000 serveurs en production, pour une capacité totale de 40 000 serveurs à peu près. Le site a une capacité électrique de 36 MW, pour environ 17 MW utilisés pour le moment. Les batteries de ce datacenter proposent une autonomie de 10 minutes en cas de coupure de courant. Les groupes électrogènes sont capables de prendre le relai en une minute.

OVHcloud tient compte des « enseignements » douloureux de Strasbourg : « On est dans une logique de ségrégation. Ça veut dire qu'on a des bâtiments dédiés uniquement aux serveurs et, à l'extérieur, des bâtiments dédiés aux équipements électriques. On a aussi séparé toute la partie refroidissement ». Aucune climatisation n’est présente, mais « au-delà de 26 °C, la brumisation se déclenche ».

Au total, la société revendique pas moins de 120 000 serveurs sur l’ensemble des sites de Roubaix – pour une capacité estimée aux alentours de 300 000 –, dont un quart se trouvent donc sur le seul datacenter de Roubaix 8. 

Au détour d’un couloir, un panneau « SecNumCloud »

Lors de notre déplacement dans les différentes parties du site de Roubaix, nous sommes passés devant une porte avec une pancarte « SecNumCloud »… mais impossible de la visiter. Cette salle est installée dans l’un des huit datacenters de Roubaix, avec une « double authentification par badge et par empreinte digitale », en plus de la protection d’accès au datacenter. Inutile de dire que nous étions surveillés par plusieurs caméras. D’ailleurs, OVHcloud nous précise que « plus de 800 caméras sont sur le site » de Roubaix.

La certification SecNumCloud est un gage de sécurité validé par l’ANSSI, qui atteste que l’hébergeur a pris des précautions supplémentaires. Dans le cas présent, « tout est dans la salle, y compris l’atelier [de réparation] ; il n’y a rien qui sort de cette salle ». Si la partie réseau « est spécifique » ce n’est « pas le cas des alimentations électriques et des batteries qui sont communes à l’ensemble du datacenter ».