Driveclub fait parler de lui depuis maintenant six semaines, à cause de son lancement gâché par d'importants soucis en mode multijoueur. Ceux-ci ne sont toujours pas résolus, et Sony vient de monter au créneau pour prendre la défense d'Evolution Studios.
Shawn Layden, le PDG de Sony Computer Entertainment America (SCEA), explique ainsi à nos confrères d'IGN qu'il est extrêmement difficile pour un studio de pouvoir tester en conditions réelles leur infrastructure multijoueur. Par conséquent, il semble donc logique à ses yeux que des choses inattendues se produisent.
« Dans le cycle de développement, nous testons tout, sous tous les angles. Nous avons une équipe d'assurance qualité, avec un plan établi. Mais maintenant, dans un monde connecté, vous ne pouvez pas lancer de test chez vous ou dans votre groupe de bêta-test ce que cela signifie d'avoir 50 000, 100 000 ou 200 000 utilisateurs qui utilisent votre service. Et les gars du studio ont du mal avec ça. Ils font face à des choses qu'ils n'avaient pas anticipé », explique le dirigeant.
On pourrait être tenté de répondre à cela que des moyens existent pour connaître l'impact d'une forte affluence en multijoueur sur l'infrastructure d'un jeu : les phases de bêta ouvertes. De plus en plus de studios y ont recours, et cela semble être un bon moyen de voir comment tiennent les serveurs lors d'une phase de stress relativement intense.
Ubisoft a par exemple eu recours à plusieurs phases de test « fermées », pendant lesquelles des sites spécialisés distribuaient des clés par milliers à leurs lecteurs, pour jauger l'infrastructure de The Crew, un autre jeu de course avec de nombreuses fonctions multijoueur. Il sera intéressant de voir comment s'en sort ce titre lors de son lancement, afin de juger de l'intérêt que peuvent avoir ces phases publiques de test. La réponse ne devrait plus tarder, son lancement étant prévu pour le début du mois de décembre.
Quoi qu'il en soit, le fiasco de Driveclub est d'autant plus dommage qu'Evolution Studios et Sony ont reculé la date de lancement du jeu de plus de dix mois, afin de s'assurer que l'expérience des joueurs serait la meilleure possible. On n'ose imaginer dans quel état le jeu serait sorti sans ce report, mais il est difficile de ne pas penser qu'avec quelques week-ends d'open-bêta, la donne aurait pu être différente.
Commentaires (37)
#1
Comme dit dans l’article il y a des moyens de tester avec les accès beta.
On se dit que quelqu’un qui va avoir une mauvaise expérience de jeu en beta risque de pas acheter le jeu, alors qu’une mauvaise expérience lors du lancement c’est trop tard le jeu est déjà vendu …
Maintenant il peut y avoir des soucis mais c’est quand même pas le premier jeu qu’ils sortent online? On pourrait s’attendre à une certaine expérience des équipes techniques non?
#2
De manière générale, est-ce qu’on peut dire que Sony n’a pas une très grande expérience du multi-joueur console et qu’il tatonne avec la PS4 ? Est-ce que le problème aurait été le même sur une plateforme Xbox live ? (dans les mêmes conditions, sans beta ouverte)
#3
D’un autre coté c’est pas facile, mais à quoi sert le pognon pour payer les jeux ?
Oui faire une simulation, des tests unitaires ça coûte, mais ils se sont déjà débarrassé des testeurs de jeux en interne en pensant refiler ça a la communauté sous forme de pré-version (Alpha, Beta, Release, ce que vous voulez, de toute façon les jeux en ligne ne sortent JAMAIS fini !)
Il y a tout de même énormément d’améliorations au niveau des outils de tests, de debug, de profilage, pour pouvoir anticiper un afflux de joueurs, ils pourraient quand même payer des outils à leurs dev à défaut de nous bananer avec leur histoire “d’équipe qualité” (ouais j’imagine bien le manager, le commercial, et un directeur à la con regarder comment le jeu tourne le vendredi à l’apéro pour dire que tout va bien… et on appel ça un process qualité !)
#4
Sony …
Franchement avec une beta ils auraient pu économiser quelque dollars de communication et éviter ce bad buzz.
Peut-être que le jeu est vide et que si il l’aurait sorti en beta, personne l’aurait acheter le jour de la sortie, il vaut quoi pour ceux qui l’ont ?
#5
C’est pourtant extrêmement simple, il suffit de faire des open bêta…
Des dizaines de jeux l’ont déjà fait, aprfois en plusieurs étapes de montée en puissance progressive… mais peut-être que Sony n’a pas suivi le marché des jeux vidéos ces 10 dernières années ?
#6
« Dans le cycle de développement, nous testons tout, sous tous les angles. Nous avons une équipe d’assurance qualité, avec un plan établi. Mais maintenant, dans un monde connecté, vous ne pouvez pas lancer de test chez vous ou dans votre groupe de bêta-test ce que cela signifie d’avoir 50 000, 100 000 ou 200 000 utilisateurs qui utilisent votre service. Et les gars du studio ont du mal avec ça. Ils font face à des choses qu’ils n’avaient pas anticipé », explique le dirigeant.
Non mais sérieusement… Niveau amateurisme, Evolution Studio ont de qui tenir…
Ce fiasco est dû au désir de réduire les coûts au maximum, pourtant une beta fermée ou ouverte est certainement moins coûteuse qu’un tel échec…
#7
C’est fou de vouloir tenter de défendre un tel échec. Pour moi, aucun argument ne peut les défendre. C’est peine perdue.
#8
#9
Je connais des ingés de Twitter et de google qui se marrent en lisant ça. La vérité : oui c’est possible à tester, non ils n’en ont rien à faire puisque les gens s’en rendent compte après avoir acheté les jeux. On appelle ça des tests de charge automatisés et chez les grands, on fait ça pendant la journée, en plus de la charge normale engendrée par les utilisateurs.
N’oubliez pas : on peut tout tester, mais surtout on peut omettre volontairement tester certains trucs quand on veut pas le budgéter.
#10
S’il n’y a pas d’outils de tests de charge pour leur besoin, la beta ouverte est effectivement une bonne solution, non?
#11
C’est clair. Faire des tests en charge ne demande pas tant de matériel que ça. Il n’y a pas besoin de simuler le fonctionnement complet du jeu pour chaque “client” virtuel, il suffit de simuler les échanges avec le serveur.
Ca demande quelques serveurs (certes coûteux), un peu de matériel réseau pour tenir les échanges, et c’est parti. C’est très loin d’être hors de portée des gros studios financés par Sony.
#12
Entièrement d’accord avec Cacao, je comprend pas comment c’est encore possible.
Outre le fait qu’ils auraient pu avoir recours à des open-beta, et tutti quanti, on est en 2014, les studios ont de l’expérience dans le domaine maintenant, les problématiques pour les multi ne sont pas nouvelles.
Je pense que c’est encore une histoire d’argent, les gens qui finances veulent un maximum de profit.
Donc on minimise les équipes de test, de qualité, les infrastructures de départ.
Franchement le joueur est devenu une pompe à fric SUPER
#13
Le problème est je pense plus stratégique que technique.
La vraie question c’est est-ce que c’est le bad buzz ou le fait de dimensionner l’infrastructure pour l’inévitable pic d’utilisation de la sortie du jeu qui coûte le plus cher ? A en juger par la sortie de quasiment tous les jeux en ligne, je crois qu’on la la réponse.
#14
#15
#16
Dans le cas de Diablo 3 c’est différent. Lors de la bêta plusieurs remarques ont été remontées sans être prises en compte, en plus de ça les responsables étaient complètement fermés d’où le fiasco au lancement
#17
Je suis d’accord, cela dépend vraiment de la qualité de service qu’on veut y mettre.
Je travaille pour l’un des 3 opérateurs téléphoniques, et ils font des tests de bench sur leur site internet : il est hors de question que le site crashe lors des fêtes de Noël
Ici, une fois le jeu acheté, peut-être que le service rendu derrière est moins prioritaire.
Ceci dit, j’ignore complètement comment tester/bencher un jeu vidéo ^^ C’est surement un poil plus compliqué de simuler 50.000 joueurs sur un serveur que de lancer 50.000 un scénario d’achat sur un site internet.
#18
Je ne suis pas vraiment d’accord puisque dans ce type de test de charge, on ne peut pas identifier avec certitude les points de contention. Certains points de contention n’apparaissent clairement que lorsque la charge atteint un certain pallier. Je pense typiquement à certains NoSQL qui se basent sur du peer to peer, ce qui crée du bruit sur le réseau jusqu’à ce que le réseau sature, ou à des systèmes distribués avec un guichet d’entrée unique pour une des features. Et il y a aussi pour certains problèmes de charge, des mécanismes d’entrainements avec un pic de charge qui engendre des timeouts, qui engendrent des retry, qui engendrent encore plus de timeouts, …. Après, il y a les cas de saturation/invalidation des caches, quand on atteint un certain niveau de variété des requêtes
Ce ne sont évidemment que quelques exemples.
Les tests de charge, c’est difficile à bien mettre en place, d’où la tentation de faire de faux tests de charge limités pour se donner bonne conscience, mais en couvrant un périmètre restreint et donc irréaliste de patterns de charge.
#19
ça a l’air vraiment très dur car c’est pas les seuls… même après des open-betas on a vu des soucis…
après ça n’enlève pas qu’il doit y avoir une part de mauvaise volonté :)
#20
Le pire restant Blizzard avec WoW
" />
Depuis 10 ans toujours autant de soucis au lancement (et pourtant les gens y mettent le prix)
#21
#22
#23
Ce sont eux qui développent leurs serveurs, ils devraient au moins être capables d’analyser les “possibles” points de contention… (et de créer des outils les mettant en évidence, sinon c’est juste des branques ! En programmation on estime pas qu’une solution est meilleure qu’une autre on les TEST !)
Ce type de jeux online de grandes envergures ça existe depuis quoi 15 ans ? en 15 ans le coup d’infrastructure a du être divisé par plus de 10 !
L’infrastructure aujourd’hui ça coute RIEN ! si tu as 100 serveur à 400E chez un hébergeur, c’est pas 20 serveurs de plus à cloner pour absorber un pic de charge qui va plomber le budget ! (et franchement pour 400E j’explique pas la bête de course, au minimum une 30 aines de coeurs avec 256Go de RAM et connectivité 10Gbits…)
Donc c’est assez évident, on a la compétence, on a l’expérience, on a la connaissance, on a la technique, tout est là pour facilement monter un service qui accueil des milliers de connexions simultanée, mais à chaque fois les lancement sont “foiré” ou victimes de “DDOS” (rire…), il faut peut être arrêter de prendre les gens pour des jambons et mettre du pognon sur la table pour le SERVICE !
#24
Euh… Pour le coup de la closed beta D3, il me semble pas que l’HV était actif (demande de confirmation), et on pouvait pas se rendre compte de l’orientation du jeu par Blizzard ce qui a fait le plus gros fail du jeu.
PS : Farmer l’HV et non le jeu.
PS 2 : Tous les problèmes de connexions on s’en fout. ça vient pas du jeu en lui même
#25
//de manière assez globale sur les soucis de perf sur les jeux en ligne, ici en particulier les mmos :
Le problème c’est surtout que les soucis de charges ne se résument pas à un soucis d’infrastructure hardware. Si il s’agissait de balancer quelques baies / blades en plus, ça serait fait, car comme dit plus haut le coût est assez dérisoire pour de grosses infrastructures.
Cela va venir de la manière dont le jeu peu gérer les actions simultanées d’un grand nombre de joueur dans un espace et une durée réduite.
Les jeux ne sont globalement pas pensés pour ce genre de cas (car ne sont pas prévus en terme de gameplay) aussi leur rajouter des CPU en plus ne leur facilitera pas la tâche (tout n’est pas parallélisable), et monter en fréquence n’est malheureusement pas à l’ordre du jour… Aussi oui on assiste à des couacs lors des pics initiaux.
D’ailleurs, Blizzard pour résoudre les soucis de perf sur la sortie de WoD, a “contourné” ce problème en patchant en live pour rajouter une mécanique d’instances : les nouvelles zones sont instanciées en plusieurs exemplaires pour un même serveur, avec un nombre limite de joueur sur chacun d’entre eux. Tout simplement pour pouvoir “paralléliser” justement. Ils l’avaient implémenté de base sur la première zone (la porte), mais ils ont sous-estimé l’afflux dans les zones ultérieures, qui elles n’ont pas suivies.
Même dans les jeux pensés pour des très fortes affluences dans des instances uniques (EvE) les développeurs n’ont toujours pas trouvé comment faire pour gérer ces tâches séquentiellement sans pour autant induire un fort ralentissement. Leur seule solution a été de ralentir artificiellement le jeu de manière à permettre aux CPU de suivre…
//Par rapport à Drive, ben ils auraient pu faire des open beta, c’est net :o Car là le côté mmo et les problématiques liées sont nettement moins présentent, le soucis ici c’est bel et bien la répartition de la charge, vu que les “instances” sont moins chargées en nombre de joueurs :/
#26
Comme je disais sur un autre article a ce sujet, nous sommes a l’ère de la virtualisation et du IaaS. Ça me surprend que les services en lignes ne savent toujours pas intégrer cette notion pour agrandir leur infra pour absorber le pic de démarrage et la réduire une fois la charge stabilisée.
#27
Assez étonné de l’engouement pour ce jeu au vu des différents tests qu’on peut trouver sur le net
" />
#28
Les devs de DriveClub ont communique dessus et a priori c’est surtout un soucis software et pas vraiment un probleme d’infrastructure, mais oui, avec une beta ils auraient probablement pu eviter ce fiasco…
#29
Ils peuvent aussi ne pas proposer de fonctionnalités qu’ils ne maitrisent pas
" />
#30
pour une société qui a des chevilles énormes, ça fait tâche
et malgré tout ça, les fans roucoulent de plus belle. magique :)
#31
[COMPLOT]
j ai ptet l’esprit mal tourne, mais ca m’etonnerait pas qu ils fassent un gros effort pour retablir toutes les fonctions. Le jeu leur a coute plus que prevu vu le retard, mauvaise presse, mais quand meme une saturation, ca fait un buzz positif ( plus de monde que prevu ) et vu le peu de nombre de jeu de voiture sur PS4 ( seulement NFS je crois ) , les gens n’attendent plus la version gratuite mais l’achetent directement …
[/COMPLOT]
#32
Euuuh..
Noob, amateur, excuzàlacon ? J’hésite..
#33
vendre l’accès psn sur PS4, et ne pas être capable de faire un jeu multijoueur qui tienne la route avec des problèmes réseau ! ça sent plus l’amateurisme qu’autre chose.
sony et surtout les fanboys sony se sont toujours foutu de la gueule du live payant sur la xbox, mais on mois, le service est de qualité, et on ne rencontre pas ce genre de problème.
et avant lynchage, si il y a, j’ai la 360, la one, la PS3, et bientôt la PS4… mais surement pas driveclub !
#34
En même temps, pour les pics d’utilisation, tu te prends un peu AWS et ca passe (le Cloud pour les pros est entre autre pensé pour ca) ;)
#35
Ça ne change rien à mon raisonnement : si les boites ne le font pas, c’est qu’elles estiment manifestement que gérer un cloud temporaire leur coûterait plus cher qu’un bad buzz au démarrage (qui, comme dit plus haut, a l’avantage de faire parler du jeu).
Je veux bien croire à un raté une fois de temps en temps, l’erreur est humaine., mais systématiquement? j’ai tendance à croire qu’il y a une stratégie.
#36
Aucune excuse quand tu raque 12€ par mois pour un “acces”… .
#37
Je vais devoir sortir ma gatling