Le Grand équipement national de calcul intensif (GENCI) vient d'inaugurer son nouveau supercalculateur dédié à la recherche française et européenne : Joliot-Curie. Hébergé au CEA (TGCC), sa puissance est de 9,4 pétaflops. Il passera l'année prochaine à 22 pétaflops avec l'ajout de milliers de processeurs AMD Epyc de seconde génération (Rome).
Le Très grand centre de calcul du CEA (alias TGCC) est une infrastructure dédiée au « calcul scientifique très haute performance et au Bigdata, capable d'héberger des supercalculateurs d'échelle pétaflopique ».
Il a par exemple hébergé le premier supercalculateur français à dépasser cette limite : Curie. On y retrouve également la nouvelle génération – Joliot-Curie – qui a remplacé Curie en septembre 2018. En 40e position du Top 500, le supercalculateur vient d'être inauguré par François Jacq (administrateur général du CEA), Thierry Breton (PDG d’Atos) et Philippe Lavocat (PDG du GENCI). L'occasion de se féliciter des premiers retours, mais aussi d'évoquer l'avenir.
Sa puissance crête est actuellement de 9,4 pétaflops, mais elle va plus que doubler d'ici l'année prochaine avec l'ajout (entre autres) de plus de 4 500 processeurs AMD Epyc de seconde génération gravés en 7 nm. Il sera alors le premier supercalculateur français et le troisième au niveau européen.
3 312 Xeon Platinium, 666 Xeon Phi et P100 de NVIDIA
Côté technique, il comprend deux « partitions distinctes » :
- Irene SKL (Skylake) :
- 1 656 nœuds bi-processeurs Intel Skylake Xeon Platinium 8168 (24C/48T), soit 79 488 cœurs et une puissance de 6,86 pétaflops
- 192 Go de mémoire (DDR4) par nœud, soit 317 952 Go (4 Go par cœur physique)
- Réseau d’interconnexion Infiniband ED
- Irene KNL (Knight Landing) :
- 828 nœuds Intel Xeon Phi 7250 (68C), soit au total 56 304 cœurs et une puissance crête de 2,5 pétaflops
- 96 Go de mémoire (DDR4) et 16 Go de mémoire (MCDRAM) par nœud, soit 92 736 Go de mémoire au total
- Réseau d’interconnexion Atos-BULL BXI
Mais ce n'est pas tout. On retrouve également 5 nœuds à « grosse mémoire », comprenant chacun 112 cœurs, 3 To de mémoire, 1 GPU NVIDIA P100 et 1 SSD NVMe de 1,6 To. Enfin, 20 nœuds de « visualisation distante » avec à chaque fois 48 cœurs (type de CPU non précisé), 192 Go de mémoire, 1 GPU NVIDIA P100 et 1 SSD NVMe de 800 Go.
L'ensemble est accompagné de 4,62 Po de stockage, avec une bande passante de 300 Go/s.
Ainsi, la puissance crête de 9,4 pétaflops, « soit une capacité de calcul multipliée par 4,5 par rapport à son prédécesseur, Curie, avec une réduction de la consommation électrique proche d’un facteur deux », affirme le CEA. L'investissement nécessaire à sa réalisation provient de GENCI, une société civile dont les parts sont détenues par l’État (via le ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation), le CEA, le CNRS, des universités et Inria.
Dans le classement du Top 500 des plus gros supercalculateurs (en novembre 2018), il se classe ainsi en 40e position. Il est le troisième français derrière les Tera 1000-2 du CEA et Pangea de Total (respectivement 16e et 34e)... mais Joliot-Curie n'a par contre pas dit son dernier mot.
AMD Rome pour atteindre 22 pétaflops en 2020
Une mise à jour va en effet plus que doubler sa puissance en 2020 : « elle atteindra 22 pétaflops, soit 22 millions de milliards d'opérations par seconde, devenant ainsi le troisième calculateur le plus puissant d’Europe dédié à la recherche et le premier en France ».
Pour augmenter sa capacité, Joliot-Curie laisse de côté les puces Intel pour passer chez AMD avec les prochains processeurs Epyc 7 nm de seconde génération (nom de code Rome). Malgré une très discrète apparition lors du Computex, les CPU sont pour rappel prévus pour le troisième trimestre de l'année.
On y retrouvera notamment :
- 2 292 nœuds de calcul bi-processeurs AMD Rome Epyc à 2,5 GHz (64C), soit 293 376 cœurs et une puissance de 11,75 pétaflops
- 256 Go de mémoire (DDR4) par nœud, soit 586 752 Go au total (2 Go par cœur)
- Réseau d’interconnexion Infiniband HDR100.
À partir de mi-2020, « 60 nœuds de calcul bi processeurs ARM Marvell ThunderX3 de prochaine génération » avec 256 Go de mémoire par nœud et un réseau d'interconnexion BXI (Bull eXascale Interconnect) d'Atos seront ajoutés.
Enfin, il est également question d'une partie pour le post-traitement et l'intelligence artificielle avec « 32 nœuds hybrides avec par nœud 2 processeurs Intel CascadeLake 20 cœurs à 2,1 GHz et 4 GPU nVIDIA V100, soit un total de 128 GPU pour une puissance de 1,13 pétaflops ».
De premiers résultats grâce au « rodage »
Le champ des possibilités est vaste : climat et environnement, écoulements non réactifs, réactifs ou multiphasiques, astrophysique et géophysique, physique des plasmas, informatique et algorithmique, sciences du vivant, dynamique moléculaire et propriétés des matériaux…
Avant sa mise en production, Joliot-Curie a eu droit à une période de « rodage », dit « de "Grands Challenges" ». Elle permet à certains scientifiques triés sur le volet d'accéder à l'intégralité des ressources disponibles.
Une dizaine de projets a été sélectionnée et, si « les données sont encore en cours d’analyse pour plusieurs d’entre eux, certaines équipes scientifiques peuvent déjà dévoiler les premiers résultats obtenus » dans le domaine de la santé, de la physique des lasers et de l'industrie automobile. Ils sont détaillés dans ce document (page 10 et 11).
Une pierre dans la course à l’exascale
Pour le Commissariat à l'énergie atomique, « cette montée en puissance du supercalculateur Joliot-Curie s’inscrit dans la compétition internationale vers l’exascale ». Pour rappel, il s'agit de concevoir le premier supercalculateur capable de dépasser 1 000 pétaflops, soit 1018 ou un milliard de milliards d'opérations à virgule flottante par seconde.
Avec 22 pétaflops « seulement », le chemin sera encore très long. Pour le moment, Summit est le premier au monde avec une puissance de 143,5 pétaflops, les suivants étant sous la barre des 100 pétaflops. Le classement du Top 500 doit être mis à jour ce mois-ci, ce sera l'occasion de faire un nouveau point.
Pour atteindre le Graal que représente une puissance de calcul exaflopique, l'Europe mise sur le projet ExaNoDe coordonné par le CEA. Le travail avance puisque le prototype de processeur est en phase finale d'intégration et devrait être validé d'ici la fin de l'été. Il, est ensuite prévu d'être intégré dans des machines en 2022/2023.
Afin d'apporter de l'eau à son moulin, le GENCI a réalisé « une étude d’impact du calcul intensif sur la publication scientifique française entre 2007 et 2016 ». Il en ressort que « les machines de GENCI ont été utilisées dans la production de 700 articles scientifiques par an, pendant la période précitée, dont la moitié constitue des collaborations internationales reconnues au plus haut niveau international ».
Commentaires (12)
#1
Bonjour,
J’adore le nom Joliot-Curie, 2 magnifiques scientifiques Français.
Vous parlez souvent de cette course au péta / exa ( c’est comme les milliardaires, des nombres incompréhensibles pour le commun du mortel ).
SI vous pouviez faire un papelard sur ce sujet et ainsi expliquer simplement ( vous êtes doués pour ça ) le fonctionnement hard / soft / réseaux, ce serait sympa.
Parce-que moi avec mon C64, mon Amiga et mon tit pc j’suis largué.
#2
A noter que la période des Grands Challenges devraient bientôt commencer pour le supercalculateur Jean Zay, hébergé par le CNRS et financé par GENCI.
Il disposera d’une puissance de crête de 14 PFlop/s :
#3
En tout cas, ça claque (cf. la photo de l’actu
)
Et je suis bien content pour AMD, ça fera les pieds à Intel …
#4
Super articles comme toujours, mêmes s’ils sont peu lus.
Perso je suis un peu perdu entre les data-centers avec une concentration de puissances divisibles et attribuables individuellement avec du cloisonnement,
Et ces choses qui sont censés regrouper le + de puissance possible sur un sujet, avec des concentrateurs dédiés sur 1 topic: calculer 1000 résultats de simu nécessitera un organe de centralisation des data, donc une archi modulable mais calibrée à chaque besoin.
Donc chaque bandwidth devra être scrutée pour vérifier l’équilibre de la plateforme, à mon avis.
#5
Il manque des Radeon Instinct… Nvidia semble bien implanté
#6
Même avec tout ça, j’imagine que Minecraft rame quand même.
#7
Merci pour ce papier très intéressant, même si je reste à travailler sur mon PC avec un core i5
#8
Will it run Doom?
Plus sérieusement, ça ne devrait pas être trop problématique de faire tourner des jeux sur les nœuds de visualisation, si tu peux t’accommoder de l’affichage déporté qui n’envoie probablement pas 60 images/secondes
#9
Le Département de l’Énergie américain (DoE) a annoncé pour 2021 une machine exaflopique (nommée Frontier) à base de CPU et GPU AMD (communiqué de presse).
#10
Ce n’est pas tout à fait vrai. Dans ces centres de calcul, la puissance totale n’est jamais dédié à un sujet en dehors de phases Grands Challenges. La plupart du temps, le calculateur est utilisé par plusieurs équipes en même temps, chacune disposant d’une fraction de noeuds de calcul.
Certains projets sont basés sur une seule simulation, d’une taille extrême parfois, et requérant éventuellement quelques millions voire dizaines de millions d’heures*coeurs.
Par ailleurs, les données sont accessibles de l’ensemble du système, tous les noeuds de Joliot-Curie ont accès à plusieurs partitions basées sur le système de fichier LUSTRE.
Enfin, pas d’architecture modulable dans ces machines. Elles sont le plus généralistes possibles et ne sont pas optimisées pour des applications spécifiques. C’est plutôt les développeurs qui essaient d’optimiser leurs codes pour exploiter au mieux les ressources des machines auxquelles ils auront accès.
#11
Et dire qu’avec tout ça, on est toujours pas foutu d’avoir des prévisions correctes d’heure en heure…
#12
En l’occurrence cela fait référence à une seule ici, Irène Joliot-Curie. Même s’ils sont tous les deux (avec Frédéric) sur le tag de C215. ;)