Un an après leur annonce, les A100 de NVIDIA se généralisent chez les grands fournisseurs de services cloud (CSP) avec des instances pouvant être organisées en clusters de plusieurs milliers de GPU. Après AWS, c'est au tour de Microsoft de dévoiler son offre ND A100 v4, intégrant des EPYC 7002.
Microsoft Azure vient d'annoncer une nouvelle instance « monstre » destinée à ses clients ayant de gros besoins en termes de traitement de données, notamment ceux liés à l'IA. Elle se base sur une plateforme NVIDIA, avec pas moins de huit GPU A100 interconnectés via NVLink 3.0 (600 Gb/s), doté chacun de 40 Go de mémoire HBM2.
Ils peuvent être utilisés tels que ou groupés, mais aussi découpés en petites partitions à travers la fonctionnalité Multi-Instance GPU (MIG) d'Ampere. Les processeurs (96 cœurs par VM) sont des EPYC 7002 (modèle non précisé). Le tout est accompagné de 900 Go de mémoire et de 6 500 Go de stockage NVMe.
Chaque GPU dispose d'une bande passante de 200 Gb/s (InfiniBand HDR), soit 1,6 Tb/s par VM, pour l'interconnexion avec d'autres systèmes. L'objectif est de pouvoir accumuler de telles instances au sein de clusters contenant jusqu'à des milliers de GPU, pouvant effectuer des calculs et s'échanger des données.
Microsoft évoque un test effectué avec 164 instances, avec un résultat High-Performance Linpack (HPL) de 16,59 petaflops, ce qui le placerait dans le top 20 de l'actuel Top 500, ou le Top 10 rien que pour l'Europe. Cela grimpe à 142,8 petaflops et le Top 5 de HPL-AI si l'on ne se préoccupe que des performances « IA ». Pour rappel AWS avait annoncé une solution similaire en novembre dernier, mais basée sur des processeurs Cascade Lake d'Intel.
Cette instance est désormais en disponibilité générale au sein d'Azure, facturée 27,197 dollars de l'heure par VM sans réservation et jusqu'à 10,8788 dollars de l'heure avec une réservation de trois ans ou en instance Spot :
