Hybrid Immersion Liquid Cooling d’OVHcloud : une baie 48U avec des serveurs watercoolés et immergés

Afin de réduire la consommation électrique de ses datacenters (et ainsi améliorer son PUE), OVHcloud présente une « nouvelle » manière de refroidir ses serveurs. En plus du watercooling pour les CPU et GPU, la carte mère est plongée dans un fluide diélectrique. Explications.

Depuis près de 20 ans, OVHcloud exploite du watercooling au sein de ses datacenters. Nous vous avions d'ailleurs expliqué le mode de fonctionnement de l'hébergeur lors d'une visite de son datacenter Roubaix 4 il y a une dizaine d'années déjà. Aujourd'hui, la société passe au cran du dessus avec l'immersion des serveurs dans un fluide diélectrique. Ce n'est pas une surprise, puisque Octave Klaba avait déjà vendu la mèche fin 2020 et de nouveau en octobre 2021.

Quoi qu'il en soit, l'entreprise communique officiellement sur le sujet et explique avoir développé son propre système afin « d'atteindre plusieurs objectifs allant de l'amélioration de l'empreinte du datacenter à la réduction de la consommation d'énergie, afin de s'adapter aux nouvelles conditions d'exploitation et pour améliorer la fiabilité de manière générale ».

On plonge tout le monde dans un liquide diélectrique

Le principe de base de l'immersion est connu depuis longtemps et les fabricants s'en servent notamment pour des démonstrations à l'occasion de grands salons afin d'attirer le chaland. Voir des ordinateurs/serveurs fonctionner alors qu'ils sont plongés dans un liquide interpelle toujours les visiteurs.

Ce système de refroidissement consiste à plonger la carte mère avec son processeur, les barrettes de mémoire, la carte graphique et finalement tous les composants dans un liquide diélectrique, c'est-à-dire non conducteur d'électricité. Le liquide vient occuper tous les espaces vides et enveloppe ainsi l'ensemble des composants, qui diffusent leur chaleur à travers le liquide. La surface de contact est ainsi optimale.

La théorie vs la pratique

C'est la théorie. Si plonger des machines dans un aquarium géant pour une démonstration est une chose, industrialiser la technique en est une autre, d'autant qu'en pratique certains obstacles sont à prendre en compte, notamment la capacité du fluide à dissiper plus ou moins de chaleur et le besoin de pouvoir intervenir sur une machine sans couper celles d'à coté. 

D'ailleurs, OVHcloud ne se prive pas de rappeler que les solutions existantes utilisent « généralement des pompes, des dissipateurs de chaleur, des échangeurs de chaleur, des condenseurs, des équipements d'évaporation étanches, etc., qui soit consomment de grandes quantités d'énergie [...] soit occupent des superficies relativement importantes ». Ce n'est pas le cas de sa solution affirme le fabricant, qui présenterait de nombreux avantages.

Voici le Hybrid Immersion Liquid Cooling d'OVHcloud

OVHcloud a développé sa propre solution, baptisée Hybrid Immersion Liquid Cooling. Comme son nom l'indique, il s'agit d'un système deux en un. Les CPU et GPU conservent un système de refroidissement « classique » (ou presque) par watercooling. Leur TDP nécessite en effet plus qu'un contact direct avec le fluide diélectrique. On retrouve ainsi des waterblocks reliés à « une bobine de convection placée dans le réservoir et déployant via sa forme de serpentin une surface additionnelle de refroidissement ». Le serpentin, plongé dans le liquide diélectrique, fait office de dissipateur thermique et remplace en quelque sorte le radiateur. 

Chaque serveur et son serpentin sont « logés dans un châssis indépendant au format livre où toute l’électronique est submergée dans un fluide diélectrique », comme on peut le voir sur la photo ci-dessous. Comme indiqué, chaque châssis est indépendant et peut donc être retiré de la baie sans arrêter ses petits voisins (voir image d'illustration en tête de l'actualité). Le Roubaisien affirme que son système Hybrid Immersion Liquid Cooling fait l'objet de 16 demandes de dépôt de brevets. 

Une baie de 48U : 3x 16 serveurs en 1U ou 3x 8 serveurs 2U

L'ensemble prend la forme d'une baie comprenant trois étages pour un total de 48 serveurs 1U ou 24 serveurs 2U. Chaque étage peut contenir 16 serveurs au format 1U ou 8 serveurs 2U. Ils sont dans tous les cas positionnés à la verticale. Pour reprendre la métaphore littéraire d'OVHcloud, chaque châssis est un livre installé sur une rangée de bibliothèque.

Le système de refroidissement de chaque rack n'a pas besoin de pompe ou de ventilateur ; il ne consomme donc aucune électricité. Le fluide utilisé est non volatil (aucune évaporation), non corrosif, non toxique, non allergène, biodégradable en 30 jours et a une durée de vie de cinq ans nous précise OVHcloud. 

« Chaque serveur est immergé dans son propre réservoir pour un refroidissement indépendant permettant des déploiements à grande échelle. De plus, chaque serveur bénéficie d'un système de surveillance dédié de tous les facteurs environnementaux, garantissant un fonctionnement sûr et sécurisé », explique OVHcloud.

Sur les images ci-dessous, les tubulures en cuivre qui se trouvent de chaque côté de la baie « correspondent aux circuits d’entrée/sortie de l’eau : chaque serveur étant connecté indépendamment au système water cooling pour une maintenance facilitée », nous confirme OVHcloud.

(P)PUE en baisse, WUE à 0 selon la température ambiante

Comparé à ses datacenters watercoolés, la société attend une réduction « jusqu’à 20,7% de la consommation électrique de l’infrastructure de refroidissement au niveau du DC ». Il est aussi question d'« opportunités pour des systèmes de valorisation de la chaleur » (qui est ainsi réutilisée pour d'autres usages, du chauffage par exemple), mais sans plus de précision pour le moment.

Concernant la consommation d'eau, OVHcloud annonce que le WUE (water usage effectiveness) est à 0 lorsque la température ambiante est à moins de 43 °C. Dans le cas contraire, le WUE serait tout de même amélioré de 60 %. 

OVHcloud annonce un PPUE – ou Partial PUE (Power Usage Effectiveness, un indicateur d'efficacité énergétique) – de 1,004, alors que sur « les serveurs OVHcloud avec watercooling, le PPUE est estimé entre 1,007 et 1,021 », nous précise le service presse d'OVHcloud. Le Partial PUE ne prend en compte que la consommation du système de refroidissement (Pcooling) et l'informatique du serveur (Pit), pas le reste de l'installation du datacenter, notamment les onduleurs.

L'entreprise s'attend à ce que « le PUE global s’améliore de manière similaire avec l’inclusion des pertes d’énergie dans le système de distribution électrique ». Elle précise que le PUE sera publié « dès que les données obtenues seront significatives sur un laps de temps suffisamment important et pour un emplacement précis ».

Des serveurs immergés déjà en fonctionnement depuis des mois

Des serveurs en immersion sont déjà en fonctionnement chez OVHcloud, comme l'a indiqué Octave Klaba en juin de cette année : « ALPHA d’immersion tourne depuis plusieurs mois. prévu dans qq mois en BETA  ». Il ne s'agit donc pas uniquement d'un paper launch, mais on n'est pas non plus sur un déploiement à grande échelle. Il faudra encore attendre avant d'avoir un PUE global pour cette technologie.