20 ans de watercooling chez OVHcloud : des évolutions nombreuses, d’autres à venir… et un « paradoxe »

À l’occasion des 20 ans de son système de refroidissement liquide, OVHcloud avait organisé une conférence de presse et une visite de ses locaux à Croix, dans le Nord. Dans cette première partie, on revient sur le watercooling, le PUE, le WUE et les engagements environnementaux aux horizons 2025 et 2030.  

Le centre de Croix est stratégique pour l’hébergeur, car on y retrouve son équipe de recherche et développement, ainsi qu’un centre de production qui livre du matériel pour ses datacenters partout dans le monde. Seules exceptions : le Canada et les États-Unis, qui sont alimentés par son usine à Beauharnois, au Canada. 

• OVH Canada : visite du futur datacenter de Montréal

Cette usine est un atout majeur, selon la société : « Nous sommes en capacité de pouvoir maîtriser la chaîne de bout en bout : de la conception d'un produit à son exécution et sa production. On est en capacité de pivoter très vite ». Dans un second article, nous reviendrons en détail sur le fonctionnement du centre de Croix. 

Mais avant, Miroslaw Klaba, directeur R&D chez OVHcloud (et frère d’Octave Klaba), était présent pour nous parler du watercooling… une histoire qui a débuté en 2003 et qui fête donc ses 20 ans. Pour OVHcloud, cette technique va de pair avec des économies d’énergies. 

Au début, il fallait refroidir le Pentium 4… 

« Initialement, c’était surtout la motivation du Pentium IV, avant l’apparition du Core 2 Duo, qui chauffait vraiment beaucoup. On avait besoin de densifier à 1U […] On n’avait rien d’autre que passer sur du watercooling pour le rendre efficace et fonctionnel », se souvient Miroslaw Klaba. 

• Un serveur, une baie, une lame, un rail, 1U : c'est quoi ?

Il reconnait lui-même que, à l’époque, « c'étaient vraiment des blocs de cuivre, un peu comme des bouillottes avec quelque chose de plat à l'intérieur et donc avec une efficacité limitée, mais suffisante par rapport à ce qu'on avait avec des TDP de 60 watts ».

Il faudra tout de même attendre une dizaine d’années pour que les sillons avec du fraisage arrivent sur les waterblocks. Le principe de base était et reste encore aujourd’hui le même : « faire de manière industrielle et "cost effective" ». Le premier waterblock pour GPU arrive en 2013.

… aujourd’hui soudure sans apport, demain « impression cuivre 3D »

En 2018, OVHcloud améliore son procédé avec de la « soudure cuivre sans apport de métal », ce qui a permis à la société « d’améliorer la qualité des waterblocks et d’avoir une grande efficacité avec un process industriel en termes de déploiement, de fonctionnement et de production », affirme Miroslaw Klaba.

Cette année, le watercooling d’OVHcloud peut dissiper jusqu’à 400 watts avec une température d’eau à 45 °C. La suite est déjà en route avec « l’impression 3D sur le cuivre », qui est en cours d’examen dans son centre de recherche. Les avantages sont nombreux selon notre interlocuteur : « ça permettrait de consommer moins de cuivre et d'être beaucoup plus à base de poudre […] et d’avoir des petites séries en termes de production ».

Quid des (risques de) fuites et des datacenters en colocation ?

Sans tourner autour du pot, il reconnait qu’il y a eu des fuites – par exemple en 2017 cela avait provoqué une panne sur 50 000 sites mutualisés – et que cela peut évidemment encore arriver, même si des tests poussés sont réalisés lors de l’assemblage (nous y reviendrons). « On essaie de réduire le risque au maximum. Ce qui est important, c'est de réduire l'impact si ça se passe et qu’on puisse récupérer des données ».

• Mutualisé : OVH s'explique sur la panne de 50 000 sites et annonce un geste commercial

D’ailleurs, OVHcloud ne parlait pas de son watercooling au début. Miroslaw Klaba nous ressort une anecdote qui revient de temps en temps : Octave avait annoncé le watercooling, mais il avait rapidement fait machine arrière en expliquant que c’était un poisson d’avril ; les clients n’étaient visiblement « pas prêts » et cela faisait peur. 

Si l’entreprise peut faire ce qu’elle veut dans ses datacenters en installant des réserves d’eau, des pompes et des tuyaux comme bon lui semble, qu’en est-il en cas de colocation, comme c’est le cas en Inde, à Singapour et à Sydney ? Les datacenters ne sont en effet pas conçus par OVHcloud, mais avec des partenaires où il faut réussir à « mettre du refroidissement à l'eau dans un data center qui est conçu pour un refroidissement à l’air ».

« On arrive à se faire comprendre et, de plus en plus, nos hébergeurs dans ce modèle-là acceptent que l'on mette des baies refroidies à l'eau dans des sites qui ne sont pas prévus pour », affirme Miroslaw Klaba.

Augmenter le delta de l’eau pour gagner en efficacité

L’entreprise nous explique ensuite l’importance du delta de l’eau entre l’entrée et la sortie (c’est-à-dire une fois passée par les waterblocks). Depuis 2019, ses centres de données sont « capables de fonctionner à un Delta T=20K au lieu de Delta T=5K ». Dans la pratique, l’eau entre à 27°C et ressort à 47°C. 5K est généralement ce que l’on retrouve chez les autres datacenters, affirme Miroslaw. 

Mais alors pourquoi passer à 20K ? Augmenter le delta permettrait de faire de même avec l’efficacité globale. Le principe est simple : avec une température plus élevée en sortie, il y a besoin de moins d’eau, et donc de mettre en place des pompes moins grosses, et qui consomment donc moins : « On a fait fois quatre sur ce qu’on est capable récupérer comme chaleur, et donc divisé par quatre en termes de volume l'eau qu'on a besoin de déplacer ».

Conséquence directe, selon l’ingénieur : la consommation « est ridiculement petite par rapport à ce qui se fait sur le marché ». Un billet de blog technique publié il y a quelques semaines apporte de nombreux détails.

Nous demandons à OVHcloud ce qu’il en est de la température des CPU : « on essaye d’être au maximum de ce que le processeur peut faire. Assez proche, tout en ayant une marge de manœuvre ». Qu’en est-il de l’amplitude thermique ? : « Ça monte jusqu'à 80°C et la température normale est de l’ordre de 20°C » en idle.

Dans tous les cas, un laboratoire de tests internes permet de s’assurer que tout fonctionne correctement suivant différents cas d’usages, affirme l’entreprise. En effet, si OVHcloud peut prévoir l’utilisation de ses serveurs mutualisés, lorsque le client dispose de ressources dédiées, il est impossible de savoir quelle sera la charge : continue, ponctuelle… 

Le paradoxe de la réutilisation de la chaleur

Lors de la conférence, une question est posée sur l’opportunité pour OVHcloud de « réutiliser » la chaleur générée par ses systèmes de refroidissements liquides. Miroslaw Klaba explique que, dans le cas d’OVHcloud, on est face à un beau « paradoxe » :

« C'est extrêmement simple pour OVHcloud de donner ses calories. Pourquoi ? Parce qu'elles prennent la forme d'une boucle d'eau chaude. Mais l’eau arrive à 47°C et ça c'est super chiant car ce n’est pas assez. Si vous voulez faire du chauffage urbain, il faut aller taquiner les 80 degrés.

On pourrait donner les calories, pas de problème, mais il faudrait une pompe à chaleur ou un mécanisme quelconque d’apport d'énergie pour remonter le régime d'eau à des températures autour de 80 °C.

On a fait des tests avec la métropole de Lille et l’équilibre financier n’était pas là ».

Mais cela pourrait changer prochainement : « on va passer d'un delta 20K à un delta de 30K » et « on va être bientôt capable de sortir de l'eau à 75°C… ce n’est alors plus pareil et surtout plus intéressant ». Aucune date n’est par contre précisée pour le moment.

PUE et consommation d’eau

Miroslaw Klaba revient ensuite sur le PUE (Power Usage Effectiveness ou indicateur d'efficacité énergétique), qui est de 1,28 chez OVHcloud (sur 12 mois glissants), en application de la norme ISO correspondante. À titre de comparaison, il est entre 1,2 et 1,50 chez Scaleway, en fonction des datacenters. Nous demandons à OVHcloud de détailler son PUE par datacenter, mais la société ne fait pas dans le détail et ne communique que sur le global, dommage. 

Scaleway met en garde sur le PUE : « Contrairement aux pratiques du marché, notre PUE est calculé en utilisant la norme internationale ISO/IEC 30134-2:2016, suivi de notre certification ISO 50001:2018 ». Miroslaw Klaba est sur la même longueur d’onde… en plus direct : « Sur l’industrie on va être à un PUE de 1,55, mais attention au PUE sur le marché. Il y en a plein qui font du "PUE bullshit"… c’est moi qui l'ai dit, ce n’est pas OVHcloud », ajoute-t-il. 

Après l’électricité, l’eau avec le WUE (Water Usage Effectiveness). Cet indicateur correspond à la quantité d’eau consommée par un datacenter par kWh d’électricité. « Le marché est à 1,80. Nous, on est à presque à 10 fois moins avec 0,26 ». À titre de comparaison, Scaleway est à 0,206 sur DC5 avec son refroidissement adiabatique. 

En plus du watercooling, OVHcloud utilise lui aussi de l’eau pour un refroidissement adiabatique. Historiquement, c’était de la brumisation, mais une autre technique est désormais utilisée avec un « Cooling Pad » et de l'eau qui passe au travers. Ce système n’est mis en marche que si nécessaire, cela représenterait entre 15 jours et un mois d’utilisation cumulés (par an) à Roubaix.

L’immersive cooling est là, mais pas encore les clients

En octobre de l’année dernière, la société présentait officiellement son Hybrid Immersion Liquid Cooling, ce qui n’était pas vraiment une surprise puisqu’Octave Klaba avait vendu la mèche des mois auparavant.

• Hybrid Immersion Liquid Cooling d'OVHcloud : une baie 48U avec des serveurs watercoolés et immergés

Pour son frère Miroslaw, c’est une évolution logique : « on s'est rendu compte que ce qui était encore inefficace dans le watercooling, c'est l'air. Du coup, on a remplacé l'air par l’immersif cooling et on a gardé le système de watercooling à l'intérieur ». Plus besoin de pompe, la convection fait le travail à la place. 

Par contre, la société reconnait ne pas encore avoir de clients pour son Hybrid Immersion Liquid Cooling, mais qu’elle est en discussion avec certains, sans plus de précisions. Des baies de tests sont en place, notamment afin de « trouver de quelle manière on peut utiliser ce système-là dans des cas bien particuliers ».

Engagements environnementaux en 2025 et 2030

Avant d’entrer dans le détail des engagements environnementaux, un rappel important sur les trois « scopes ». Le scope 1 correspond aux émissions directes (les générateurs de secours dans le cas d’un hébergeur), ce qui représente moins de 1 % des émissions globales chez OVHcloud.

Le scope 2 correspond aux émissions indirectes liées à l’utilisation d’électricité pour alimenter les datacenters. Enfin, le scope 3 s’ouvre aux émissions indirectes en amont et en aval. Chez OVHcloud par exemple, cela comprend les pièces pour la production des serveurs.

Les enjeux sont faibles sur le scope 1, qui correspond aux vérifications des groupes électrogènes et à leur utilisation en cas de coupure de courant. Sur le scope 2, un PUE bas permet de facto de baisser la consommation électrique et donc les émissions carbones. Deuxième point important pour l’entreprise : la nature des sources d'électricité, qui doivent être le plus décarbonées possible.

La roadmap officielle est « d'arriver à avoir 100 % en 2025 de notre fourniture d'énergie électrique qui soit issue de sources bas carbones. Typiquement le nucléaire, l’hydraulique, l’éolien et le solaire […] Aujourd’hui, on est à 77 % ». 

Mais pour OVHcloud, il ne faut pas laisser le scope 3 de côté, sinon on a « un bilan carbone qui passe à côté de plus de 50 % de la problématique de l’impact environnemental ». La société affirme ainsi qu’elle veut aussi arriver à 100 % de bas carbone sur le scope 3, mais à l’horizon 2030 cette fois-ci.

« Nous, on est plutôt gâté. Comme on a le contrôle de bout en bout de la chaine de valeur. On sait parfaitement mesurer des flux physiques : les composants, la tôle de métal et les bouts de cuivre qu’on achète ». Pour arriver à son objectif, OVHcloud compte « se faire aider par Intel, AMD… et ses fournisseurs de rang un ». « On va faire de la R&D commune, en leur imposant dans les contrats des "codes of conduct" qui vont dans le bon sens ». À voir maintenant si les partenaires seront réceptifs… 

Interrogé sur ce chiffre de « 100 % », OVHcloud nous affirme que « c’est bien 100 % sans compensations », c’est-à-dire sans droit à polluer. Cela concerne toutes les sources électriques des datacenters, qu’elles soient primaires ou secondaires.

Une calculatrice carbone est en préparation ; elle « sera accessible directement depuis la plateforme pour offrir aux clients une compréhension de leur empreinte carbone IT liée à leurs usages Cloud ».

• La compensation carbone, comment ça fonctionne ?

Objectif zéro déchet en décharge d'ici à 2025

OVHcloud vise aussi le « zéro déchet de mise en décharge à partir de 2025 ». Le recyclage des machines est depuis longtemps une réalité, mais la société veut aller plus loin. En effet, les serveurs en fin de vie sont rapatriés dans les centres de production d’OVHcloud pour être « désossés ». Les composants qui peuvent être réutilisés le sont, avec un « taux de réemploi entre 25 et 33 % en fonction des années ». L’année dernière, c’était 25 %. 

La société donne deux autres chiffres : la durée de vie moyenne d’un serveur est de 4,5 ans chez OVHcloud, et 45 % des serveurs sont assemblés avec des composants remis à neuf. Les composants qui ne seront pas réutilisés par l’hébergeur, mais qui sont toujours en état de marche, sont revendus via des réseaux de brokers.

Pour le reste, on est « vraiment dans la valorisation de la matière et on travaille beaucoup sur les cartes mères avec une startup ». En effet, « la carte mère, c'est vraiment la chose la plus compliquée à ne pas mettre en décharge ou ne pas incinérer, car c'est un mélange de plastique, de terres rares, de métaux, etc., et il faut des processus chimiques assez complexes ».

Dans la suite de notre dossier, nous détaillerons le fonctionnement du centre de Croix, avec le pliage des tôles pour les châssis, l’intégration des composants, le montage et les tests sur les baies. Nous avons également eu l’occasion d’entrer dans datacenter Roubaix 8, à quelques kilomètres de Croix.