Au-delà du buzz, qu’attendre du supercalculateur de Meta ?

L’annonce du AI Research SuperCluster de Meta (Facebook) a fait couler beaucoup d’encre, notamment car le réseau social revendique (en avance) la couronne du supercalculateur pour l’IA « le plus rapide au monde ». Derrière les (gros) chiffres, quelle réalité ? 

La semaine dernière, le réseau social Meta annonçait AI Research SuperCluster. Il est présenté comme rien de moins que « l’un des supercalculateurs d’IA les plus rapides fonctionnant aujourd’hui » et – une fois entièrement construit à la mi-2022 – « le plus rapide au monde ». On y retrouve une débauche de cartes graphiques avec des centaines, voire des milliers, de DGX A100 de NVIDIA, chacun équipé de 8 GPU A100.

• AI Research SuperCluster : Meta (Facebook) annonce le supercalculateur pour l’IA « le plus rapide au monde »
• NVIDIA : Serveurs Ampere A100, carte réseau avec GPU intégré, nouvelles plateformes

Le CEA propose un « décryptage » de cette annonce avec Christophe Calvin, expert en calcul hautes performances et en simulation numérique. L’occasion de revenir sur cette débauche de puissance et la remettre en perspective. Il explique notamment que, « malgré l’effet de buzz médiatique qu’a produit l’annonce de Meta, son supercalculateur ne devrait pas encore révolutionner le domaine du calcul hautes performances ».

Il commence par une explication générale : « l’architecture de ce supercalculateur est assez classique, mis à part le nombre impressionnant de processeurs graphiques intégrés à la machine ». « La nouveauté réside dans le fait que cette machine sera tournée essentiellement vers une seule application : le métavers et que cela nécessite de réaliser des traitements de données en masse », ajoute-t-il.

Derrière l’annonce, la guerre des FLOPS et la « précision »

Avant de plonger davantage dans la partie technique, prenons quelques instants pour définir ce qu’est « la précision » en informatique, et la conséquence qu’elle a sur les performances. Cet élément, qui est tout sauf un détail, peut en effet drastiquement changer la portée d’une annonce marketing qui vante de gros « FLOPS ».

« Le terme de précision fait référence ici à la manière de stocker des variables réelles en mémoire », rappelle l’Institut du développement et des ressources en informatique scientifique du CNRS. La plupart du temps, les nombres réels sont stockés sur 32 bits, mais on peut aussi le faire sur 8, 16 ou 64 bits suivant les besoins. Pour les détails techniques, vous pouvez lire ce document ou vous rendre sur les fiches Wikipédia (de préférence en anglais, plus complètes).

Pour faire simple : plus le nombre de bits est élevé, plus la précision sera importante et le résultat précis… mais aussi couteux en ressources. Il faut donc trouver le juste milieu entre les besoins de précisions et la rapidité d’exécution des instructions. Des frameworks comme TensorFlow et PyTorch pour l’apprentissage machine « utilisent par défaut la simple précision, mais il est possible d'exploiter la semi-précision pour optimiser l'étape d'apprentissage », indique le CNRS.

En IA on utilise beaucoup la précision mixte

Pour ajouter un peu de complexité, il existe aussi la précision mixte. Comme son nom l’indique, il s’agit de faire cohabiter plusieurs précisions : « autrement dit, on réduit la précision de certaines variables du modèle pendant certaines étapes de l’entraînement », détaille le CNRS. C’est notamment le cas des Tensor Cores des GPU NVIDIA qui « permettent d'effectuer efficacement des opérations impliquant à la fois des variables en float16 et des variables en float32 ».

S’appuyant sur une publication scientifique de 2018, le CNRS ajoute qu’il « a été montré empiriquement que, même en réduisant la précision de certaines variables, on obtient un apprentissage de modèle équivalent en performance (loss, accuracy) tant que les variables “sensibles” conservent la précision float32 par défaut, et ce pour tous les “grands types” de modèles actuels ». 

Vous l’aurez compris, la notion de « précision » est donc primordiale lorsque l’on parle de puissance de calcul : « Pour pouvoir comparer et mesurer la puissance des supercalculateurs, il faut utiliser la même métrique à savoir 16, 32 ou 64 bits selon la précision de calcul des algorithmes », précise à juste titre le CEA.

De plus, les supercalculateurs dédiés à l’intelligence artificielle comme celui de Meta « fonctionnent uniquement sur 32 bits, contrairement aux supercalculateurs de modélisation qui fonctionnent sur 64 bits », explique Christophe Calvin. Bien évidemment, on ne compare pas des performances mixtes, 32 ou 64 bits !

AI Research SuperCluster vs Fugaku : fight !

Le scientifique revient alors sur la puissance de calcul annoncée par Meta : 5 exaFLOPS… en précision mixte. Si l’on prend le classement Top 500 des supercalculateurs, il dépasse sur le papier Fugaku – qui est actuellement premier avec 442 TFLOPS, ou 0,442 exaFLOPS – d’un facteur dix. Mais pas si vite : le Top 500 se base sur des calculs en double précision (64 bits).

• TOP500 des supercalculateurs : peu de changements, toujours aucun exascale

Si une telle précision est utilisée pour la réalisation de simulations numériques, elle n’est « pas nécessaire dans le domaine de l’IA où la plupart des outils n’utilisent que de la simple précision (32 bits) ou de la demi-précision (16 bits). Ainsi pour comparer la puissance de la machine Fugaku avec le superordinateur de Meta, il faut diviser la puissance de ce dernier au moins par 2 », explique le chercheur du CEA.

« À précision égale, l’ordinateur de Meta n’aurait plus une puissance de 5 exaflops comme annoncée par Meta, mais plutôt 1 à 2 exaFLOP(S). Si le supercalculateur de Meta arrive à fonctionner à pleine puissance, c’est-à-dire courant 2022, a priori, il sera le plus puissant du monde si on se réfère au classement actuel (TOP 500) ». On remarque que le scientifique va même jusqu’à estimer que les performances pourraient être divisées par cinq. 

« Le supercalculateur de Meta fera partie » du Top 5

Le classement Top 500 est actualisé deux fois par an, en juin et en novembre : « il est donc difficile de dire si lors de ces deux prochaines mises à jour, il n’y aura pas une machine plus puissante. En revanche, on peut raisonnablement affirmer que le supercalculateur de Meta fera partie des cinq machines les plus puissantes du monde ». Pour entrer dans le Top 5 il faut actuellement une puissance de plus de 71 TFLOPS.

Mais Fugaku et les autres peuvent aussi continuer à progresser, tandis que d’autres peuvent arriver « par surprise ». Fugaku a sa puissance de 442 TFLOPS depuis novembre 2020, contre 415 TFLOPS lors de son introduction en juin 2020. C’est dans tous les cas largement suffisant pour s’assurer confortablement la première place puisque la seconde machine, Summit, n’est « qu’à » 148,6 TFLOPS. 

Mais un autre changement « plus important encore » s’est déroulé lors de la mise à jour de la seconde partie de 2020 : « Fugaku a augmenté ses performances sur le nouveau benchmark HPC-AI en précision mixte à 2,0 exaflops, dépassant son précédent score de 1,4 exaflops enregistré six mois auparavant ».

Cet indicateur permet de mieux apprécier les performances de Fugaku face à AI Research SuperCluster, mais il faudra dans tous les cas confirmer ces résultats. Nous regarderons attentivement les prochains classements du Top 500 afin de voir si le supercalculateur de Meta sera dans la liste ; il faudra qu’il exécute les mêmes benchmarks que les autres pour cela.

Quid de la consommation ?

Christophe Calvin en profite pour répondre à une question que vous vous posez peut-être : quelles sont les contraintes limitant actuellement la puissance ?

« La principale contrainte concerne la consommation énergétique de ces architectures et le rapport performance/watt, car les moyens de décupler la puissance des supercalculateurs existent déjà. Il est important d’avoir des machines puissantes avec une consommation maîtrisée tout en étant capables de répondre aux besoins des applications qui les utilisent.

Par exemple, celle de Meta est parfaite pour les algorithmes d’IA, mais dans le domaine de la simulation classique, il y a peu d’applications qui peuvent tourner efficacement sur ce type d’architecture sans des efforts et des investissements importants dans l’adaptation de ces mêmes applications ».

Au sujet de la consommation d’AI Research SuperCluster, le chercheur reconnait qu’il « est difficile de donner un chiffre précis, on peut cependant estimer que la consommation électrique est de l’ordre de 20 MW ». À titre de comparaison, celle de Fugaku est de 29,899 MW, contre 10,1 MW pour Summit (le second du classement).

Top 500 propose également un classement Green 500 des supercalculateurs avec le meilleur ratio GFLOPS par watt. Les quatre premiers sont entre les 280 et 301e place au classement général, mais affichent un rendement supérieur à 30 GFLOPS/watt. Fugaku est « seulement » à 15 GFLOPS/watt environ. 

« La problématique principale concerne non seulement la consommation électrique de la machine, mais également l’évacuation de la chaleur produite par le supercalculateur. Le calcul haute performance ne peut malheureusement pas être frugal du fait du nombre pharaonique de calculs de précision à effectuer, et même si les cartes graphiques utilisées par Meta sont moins énergivores que les processeurs classiques pour la puissance délivrée, la consommation électrique d’un tel système reste très importante », explique le chercheur

Un supercaculateur dédié aux META-diVERtissementS ?

Il termine par quelques piques en direction du réseau social : « Le supercalculateur de Meta apportera une nouvelle forme de divertissement. Les autres supercalculateurs, ceux des mondes académique et industriel, promettent des modélisations et simulations des phénomènes physiques plus précises, tant dans le domaine de la météo que celui des sciences du vivant ou de la santé ».

Il ajoute enfin que, pour le moment, il est prévu que le supercalculateur de Meta ne soit « mobilisable que par les équipes de Facebook, les chercheurs et industriels n’y auront pas accès ». La société pourrait par la suite revoir un peu sa politique afin de « redorer » son blason…

Facebook a de son côté expliqué que son AI Research SuperCluster « aidera les chercheurs en IA de Meta à créer de nouveaux et meilleurs modèles d'IA capables d'apprendre à partir de milliards d'exemples ; de travailler dans des centaines de langues différentes ; d’analyser ensemble du texte, des images et de la vidéo ; de développer de nouveaux outils de réalité augmentée ; et beaucoup plus ».