Il nous arrive parfois de parler de serveurs et autres solutions haut de gamme pour entreprise. Plus rarement de les tester. Nous avons pu mettre la main sur un ProLiant DL365 Gen10 Plus v2 de HPE avec 256 threads et autant de Go de mémoire, ainsi que du réseau à 25 Gb/s. Partons à sa découverte.
Depuis la relance d'INpact Hardware, nous cherchons à tester des produits au-delà des solutions grand public. Que ce soit des CPU ou des GPU qui visent plutôt les besoins professionnels, mais également des systèmes entiers. Ce n'est pas toujours chose aisée, étant donné le coût et parfois la difficulté de mise en œuvre de telles machines.
Fin 2020, lorsque nous avons appris qu'AMD allait bientôt lancer ses EPYC 7003, nous nous sommes donné un objectif : tester un serveur équipé de tels processeurs. En regardant du côté des fournisseurs de services cloud (CSP) comme nous l'avons encore récemment fait chez Hetzner, mais pas seulement.
Nous voulions aussi décortiquer un serveur « In Real Life », tel qu'il est installé dans les entreprises, avec ses avantages, ses inconvénients. À la différence d'une machine utilisée à distance, nous voulions pouvoir l'exploiter à notre guise et tirer parti de ses possibilités pour différents articles. Le début d'un (très) long marathon.
Au final, il nous aura fallu plus de six mois pour aboutir à ce projet. Nous devons notre salut à HPE qui a été le premier à accepter, en respectant la liberté éditoriale qui nous caractérise, de mettre à notre disposition l'une de ses machines haut de gamme devant bientôt arriver sur le marché : la HPE ProLiant DL365 Gen10 Plus v2.
Elle vient d'arriver au labo. Avant de commencer nos tests, détaillons sa composition.
Une machine de guerre... dans 1U
Commençons par positionner ce produit au sein de la gamme ProLiant de HPE. Il s'agit d'un serveur 1U pouvant intégrer jusqu'à deux processeurs EPYC sur architecture Zen 3. Dans notre cas il s'agit de modèles 7713 dotés de 64 cœurs (128 threads) cadencés entre 2 et 3,675 GHz, 256 Mo de cache L3 dont le TDP est de 225 watts.
Ils sont accompagnés par 16x 16 Go de DDR4 ECC, soit un total de 256 Go, soit 1 Go par thread. En façade, la machine dispose de huit baies 2,5". Elle nous a été livrée avec deux HDD à 15 000 tpm (SAS) de 280 Go chacun. Sur sa droite, on trouve deux ports USB (dont un dédié à iLO) et quatre LED dont deux faisant office de bouton : alimentation, identification UID et activité. La machine nous était livrée avec ses rails de fixation.
Ne comptez pas la mettre dans une petite baie réseau, puisque c'est un modèle de 74,19 cm de profondeur pour un poids de près de 15 kg. À l'arrière, on trouve une alimentation extractible de 800 watts certifiée 80PLUS Platinum, une seconde pouvant être utilisée en redondance. Un port VGA est présent pour l'affichage de la console, ainsi qu'un port réseau pour l'accès distant à iLO. Nous ne reviendrons pas ici en détail sur cette interface puisque nous l'avions déjà présentée tel qu'elle était intégrée à un MicroServer Gen 10 Plus de HPE (ici ou là).
Enfin, on a droit à deux cages SFP28, puisque la carte réseau fournie est une Broadcom BCM57414 pouvant gérer deux liens à 25 Gb/s, exploitant une connectique OCP 3.0 pour faciliter son installation à plat.
Le serveur s'ouvre de manière assez classique, avec une « tirette » placée sur sa partie supérieure. Une fois le capot retiré on accède alors à l'ensemble des composants. Comme souvent dans des serveurs haut de gamme du genre, on trouve de nombreux systèmes de démontage sans vis, plutôt sous la forme de molettes à tourner.
Les câbles sont peu nombreux et peu visibles, passant sur les côtés de la carte mère. Tous les emplacements mémoire sont utilisés, afin de profiter à plein des huit canaux du processeur. Ces derniers sont équipés de dissipateurs au format 1U. Là aussi c'est plutôt classique pour une telle machine, le refroidissement étant assuré par la batterie de ventilateurs positionnés en façade. Ils peuvent être aisément retirés et remplacés.
Bien entendu, cette machine est bruyante, surtout au démarrage ou lorsque les CPU sont fortement sollicités. Elle doit évacuer 2x 225 watts de TDP ainsi que la chaleur générée par les composants annexes dans un format 1U et être installée dans une salle serveur où le niveau de pression acoustique n'est pas la préoccupation première.
Sur le PCB on trouve des étages d'alimentation composés de nombreuses phases, de quoi faire pâlir les équipes marketing des constructeurs de cartes mères grand public. Mais aussi une multitude de ports, même deux USB 3.x.
D'autres fournissent des liens PCIe au format OCP. Outre la carte réseau évoquée précédemment, on trouve une carte contrôleur HPE Smart Array P408i-a SmartRaid (SR) à laquelle est relié le stockage. Elle propose deux ports mini-SAS (12G) et nécessite du PCIe 3.0 x8. De quoi gérer l'ensemble des périphériques de stockage en façade.
On voit également des emplacements supplémentaires pour des cages permettant d'utiliser des cartes PCIe n'occupant qu'un emplacement, une étant fournie avec la machine. Elle se retire aussi très aisément.
C'est parti pour les tests !
Nous avons pour le moment installé la machine sous Windows 10, afin de vérifier qu'elle était bien fonctionnelle (c'est le cas) et procéder à ses premières mises à jour. Nous reviendrons d'ici peu sur ses performances et ce qu'elle permet en pratique, pour des usages de stockage, de virtualisation et/ou d'accès bureau distant. N'hésitez pas à nous dire en commentaire s'il y a des applications et solutions que vous souhaiteriez nous voir tester.
2min19s suffisent pour le rendu d'une scène demandant 28 minutes sur un processeur 6C
Commentaires (31)
#1
Cool :) J’attends avec impatience, c’est pile le créneau qui m’intéresse ^^
Vous nous ferrez une petite animation via les perf’ CPU du gestionnaire de tache ?
#2
Je comprend l’intérêt d’installer Windows 10 dessus pour faciliter les benchs et les tests d’applications grand public pour “voir ce que ça donne”, mais je suis un peu surpris qu’elle marche “bien”.
Le matoss pro n’est pas souvent adapté à ce genre d’OS grand public (et inversement).
#3
Quel est le prix d’un jouet comme celui la ?
#4
Oué le priiiiiiiix siouplé
#5
Alors il est pas dispo donc j’ai pas encore de prix. Et même si j’avais un tarif public, ce serait sans doute différent de celui que vous aurez auprès de votre commercial agréé HPE
Mais ça fait 5 chiffres au moins.
#6
#7
#8
1680⁄128 = 13125 ?
#9
En gros, tu prends le prix public, et tu enlèves entre 30 et 50%. C’est le prix auquel on les touche (de préférence par 2).
Moi je faisais comme ça pour négocier me serveurs Dell, ça marchait super bien
#10
Ce qui marche encore mieux (mais c’est c’est du boulot) c’est de prendre tous les prix et de ventiler les gains par application.
T’es jamais déçu, mais t’as tout fait pour te démoraliser avant d’investir.
#11
Comme vu ailleurs : 3990X review on Windows 10
Le scheduler Windows 10 a-t’il évolué? Les applis sont-elles compatibles NUMA?
Souvent sur des machines de ce type, on en tire plus profit en la segmentant et en virtualisant, ou alors il faut de soft distribué: il est parfois plus efficace de considérer la machine comme une ferme de 8 machines que de lancer les softs une fois, sur les 128 coeurs.
En général le prix de la machine n’est pas le problème. Le prix des licences (calculées la plupart du temps sur le nombre de coeurs ou de threads) est bien plus un problème.
Entre VMWare, les licences des OS, des bases de données, des applis métiers, on est généralement sur 3-10 fois le prix du matériel.
Le support annuel des softs et du hard (en général, on te fait grâce du support matériel pendant 3 ans, ensuite le prix de la maintenance se rapproche du prix d’une machine) est aussi très sympatique.
Bref, j’adore ce genre de machines (voir les ventilos tourner, les changer à chaud, ainsi que la RAM et parfois les CPU, les alims…) ça te remet en place tout ordi grand public… Mais je suis bien content de ne plus avoir à renouveler du parc matériel pour calculer comment ça se décline en coût soft…
#12
Ça fait envie, quoi qu’avec la consommation électrique bon voilà quoi. Par contre mettre une telle machine sous Windows c’est quand même du gâchis.
#13
j’imagine qu’il faille utiliser l’édition dédié aux workstation de Windows 10 “Windows 10 pro for Workstation” pour faire fonctionner tout ce beau monde !
#14
Au nombre de coeurs, ça ne consomme pas tant que ça.
Et parfois, tu n’as pas le choix de l’OS….
Désolé, je ne fais que de la virtualisation et ne compte pas comme ça ;)
De plus en plus, on a des coûts par VM pour les licences.
)
vSphere, c’est par processeur.
Les bases de données, c’est par rapport à la/les vms.
Etc..
(les applis métiers, c’est triché, c’est de base hors de prix
Franchement, les coûts se simplifient avec le temps, maintenant que le cloud est bien implanté.
#15
Ça me rappelle des souvenirs tout ça, je mets plus les pieds dans des DC et des salles maintenant.
Les prix, que ce soit matos ou soft, c’est à la tête du client, ou plutôt du volume dont il a besoin.
Une grosse boîte elle aura des tarifs bien plus bas que le péquin moyen pour 2 serveurs ou 2 licences.
Dans mon ancienne boites, outre les reducs, les écrans et tablettes de la DSI étaient offerts (des 30”x2 par tête), le service était facturé au cran du dessous dans le pire des cas.
Pour les licences je me souviens de jolies surprises avec Oracle et VMware…. “bonjour, vos licences au socket, elle basculent au coeur dispo dans le cpu, vous n’avez rien à faire, juste payer… “, même si y’a une vm pour Oracle, ou qu’un seul cpu était utilisé par le moteur du sgbd.
#16
Tout dépend, le prix de licences dépend du programme dans lequel tu tapes.
Dans mon cas c’est encore mieux, ce sont des codes de calcul métier “maison” qui sont parallélisés sous linux. Donc un joujou comme celui la équivaut à 3 stations de calcul actuelles. Le tout sur du 1U.
Donc si le prix au thread est attractif, je pourrais toujours essayer de demander un joli cadeau pour Noël
Je serais vraiment curieux de tester nos codes sur ce genre de jouets.
#17
Chez HPe comme chez les autres, les prix c’est a la tête du client. Dans ma boîte, un peu trop grosse, on arrive a descendre jusqu’a -70% pour les serveurs par rapport au prix public (ça depend des serveurs que l’on achète). Chez dell on est un plus petit partenaire on est a 50%. Le prix importe peu, c’est le niveau de partenariat qui fait tout.
Les epyc, ça va fait du bien, c’est complementaire avec les procs intel. Amd parfait pour docker/kubernetes et intel parfait pour la virtu generaliste.
#18
Cela dit sur l’offre classique, c’est un 4 coeur anémique et une 1080 sortie il y à 5 ans, 256 go de disque très lent, 12 go de ram pas très rapide
si les prix des GPU n’avais pas explosé ce serait une config à 500-600 euros max
Le gros problème actuel, c’est clairement l’envolé du coup des GPU pour blade
#19
Bon ça fait un bail que c’est comme ça maintenant on a pris l’habitude…
Quand au tarif de la bestiole, Dell me proposait (avant négo) autour des 20k pour un bousin ressemblant.
Y’avait un socket de moins, mais plus de RAM, et 1 Quadro RTX 6000 et des SSD en RAID5.
Pour faire de la virtu ou du RDP, rapporté au nb de coeurs et au cout d’une station Precision ‘single user’, c’est limite cadeau ce type de matos…
#20
Pour une config similaire chez ahead-it on arrive à 12k Euros HT, j’imagine que ce sera donc plus cher là ^^
#21
Comme dit, l’idée c’était surtout de vérifier que tout était fonctionnel sans trop avoir à recompiler quoi que ce soit
Puis d’avoir quelque chose de “graphique” pour les captures.
Mais ça fonctionne bien, le problème éventuellement comme évoqué par d’autres peut être le scheduler lorsqu’il va devoir choisir où envoyer un thread, entre le choix du socket, du die au sein de ce socket, etc. faut pas se planter pour éviter de toucher les perfs
Là c’est du Blender à fond de balle, donc le souci ne se pose pas trop
Souvent la densité est le meilleur choix énergétique. Il vaut mieux 256 threads dans 1U avec une alimentation de 800 watts que 16 PC avec 8C/16T et sa propre alimentation chacun.
Ici c’était une Pro classique, mais ce n’était pas un choix guidé par l’efficacité (j’ai la clé USB sous la main et le pilote de la carte 25G y était fonctionnel
)
Je crois que tu t’es perdu
Chez Ahead-it je vois le CPU à 7,5k€ l’unité, y’a pas un souci dans ton calcul (ou le mien ?)
#22
Joli jouet.
Perso ce qui m’intéresserait serait de voir les perf en tant que serveur web avec php.
En effet, je trouve compliqué de voir ce que donne une machine en fonction de sa conf pour faire du serveur web en fonction du nombre de consultations, et j’ai du mal à trouver de la littérature sur le net.
On a des vraies machines de guerre aujourd’hui qui ont un nombre de coeurs et une quantité de ram hallucinants, mais pour autant, comme beaucoup de choses tiennent à la conf du mpm_event.conf et du www.conf du fpm, il n’est pas simple je trouve de savoir comment associer l’ensemble pour monter à 5000, 10000, 20000… connexions simultanées
#23
Il y a un intérêt quelconque à ce type de configuration ? Par rapport à des ssds ? Ou c’est juste que c’est (un peu) moins cher ?
#24
Moins cher, plus fiable, suffisant pour l’OS et surtout dans le cadre de test, tu es sûr que les gens te rendent la machine sans avoir flingué le SSD ^^
#25
Je pige l’intérêt de Win10, pouvoir comparer a des PC “normaux”…
Mais du coup est-ce qu’on aura une comparaison Win10/WinServer ?
#26
J’ai oublié un CPU
Du coup on sera plus proche des 20k ^^
#27
+1
Il faut “tout” comparer.
#28
Tu touches à un sujet problématique: les connexions simultanées. La couche TCP/IP a ses limites, et une seule carte réseau avec un seul OS en amont est un vrai goulot d’étranglement si le nombre de CPU est conséquent.
Par ailleurs, si ton serveur est derrière un reverse proxy ou autre équipement un peu filtrant, monter ton serveur PHP en perf révéler un autre goulot d’étranglement.
La question n’est pas de savoir quelle performance aurait cette machine en absolu, mais surtout: qu’est-ce qui semble être limitant dans ton infra. Et quel effet boule de neige une augmentation des perfs d’un serveur peut impliquer sur d’autres…
#29
En effet, les sujets performances englobent toutes les couches du matériel au logiciel.
On peut chercher à compenser avec tout le silicium du monde un logiciel mal écrit, ça n’en restera pas moins un logiciel mal écrit. Et à l’inverse, un logiciel optimisé sera inefficace sur une infrastructure inadéquate. Tout comme tu peux avoir une ferme de back de tueur, si le front est anémique ça n’ira pas loin.
Bref, ça s’appelle faire de l’architecture
#30
Quelles sont les données constructeur pour les températures de refroidissement ?
#31
Moins cher pourquoi pas (et encore) mais plus fiable j’aimerais des stats à ce sujet car là je doute fortement.