Vous n'avez pas encore de notification

Page d'accueil

Options d'affichage

Abonné

Actualités

Abonné

Des thèmes sont disponibles :

Thème de baseThème de baseThème sombreThème sombreThème yinyang clairThème yinyang clairThème yinyang sombreThème yinyang sombreThème orange mécanique clairThème orange mécanique clairThème orange mécanique sombreThème orange mécanique sombreThème rose clairThème rose clairThème rose sombreThème rose sombre

Vous n'êtes pas encore INpactien ?

Inscrivez-vous !

Voiture autonome : l'accident mortel d'Uber ou la « bêtise » de l'intelligence artificielle

Mais elle ne fait que ce qu'on lui demande
Tech 10 min
Voiture autonome : l'accident mortel d'Uber ou la « bêtise » de l'intelligence artificielle
Crédits : Olivier Le Moal/iStock

L'accident mortel avec une voiture autonome Uber pourrait presque être un tragique cas d'école. Elle avait détecté le piéton, mais sans parvenir à le classer correctement car il n'était pas sur un passage clouté. Si un pilote automatique n'est pas capable de gérer une situation en dehors des clous du Code de la route, on n'est pas sorti de l'auberge.

Mardi 19 novembre, le National Transportation Safety Board (NTSB) réunira son Conseil afin de déterminer la cause probable de l'accident mortel impliquant une voiture autonome Uber – une Volvo XC90 2017 modifiée – en mars 2018. La réunion sera retransmise en direct sur cette page

En amont, 43 documents pour un total de 439 pages ont été mis en ligne par le NTSB, permettant d'avoir de nouveaux éclairages sur cette sombre histoire. Dans le lot, on trouve notamment le « Vehicle Automation Report » donnant de nombreux détails sur le fonctionnement de la voiture autonome dans les secondes précédant l'impact.

Le régulateur y décrit chronologiquement l'ensemble des détections et actions des capteurs et du pilote automatique, permettant de mieux comprendre pourquoi le système n'a pas réagi plus tôt. Mais surtout ce rapport met en lumière un des gros problèmes des intelligences artificielles/pilotes automatiques : la faculté d'anticiper et de réagir face à un événement hors scénario. Dans le cas présent, un simple piéton en dehors d'un passage clouté.

Une première détection 6 secondes avant l'impact

Pour rappel, l'accrochage impliquait un piéton traversant la route avec son vélo (des photos du lieu sont disponibles par ici). Elaine Herzberg, âgée de 49 ans, est décédée des suites de cet accident. Le conducteur de test présent dans la voiture n'a souffert pour sa part d'aucune blessure physique. Il n'avait par contre quasiment pas réagi avant le choc.

Uber accident mortel NTSB

Un rapport préliminaire avait été mis en ligne en mai 2018, deux mois après l'accident. On y apprenait que les radar et lidar avaient détecté le piéton environ 6 secondes avant l'impact, sans pouvoir l'identifier.

De son côté, « le conducteur du véhicule a pris le volant moins d'une seconde avant l'impact et a commencé à freiner moins d'une seconde après », pas suffisant pour éviter le drame. Problème, selon des éléments de l'enquête le conducteur de la Volvo était en train de regarder une vidéo sur son smartphone au moment de l'accident, ce qui expliquerait le délai de réaction beaucoup trop long.

Lidar, radar et caméra : trois « yeux » sur la route

Dans son nouveau rapport, le NTSB rappelle s'il en était besoin que l'Aide à la conduite automobile (ADAS) de Volvo était désactivée pour ne pas interférer avec le pilote automatique d'Uber. Les capteurs de la voiture modifiée par Uber avaient été calibrés une semaine plus tôt.

Avant d'entrer dans les détails, le National Transportation Safety Board pointe un élément important pour la suite : le fonctionnement de la détection d'objet sur et autour de la route. Cette fonction « est principalement effectuée par les systèmes lidars, radars et caméras, qui ont chacun des fonctions spécialisées différentes. Lorsqu'un objet est détecté, il est suivi, son cap et sa vitesse sont calculés. Ils sont classés par le système en tant que véhicules, piétons ou cyclistes, mais un objet peut aussi être classé dans la catégorie "autre" ».

Des algorithmes internes se chargent de mélanger les différentes sources d'informations pour arriver à la bonne conclusion. Une fois un objet détecté, le système tente de prédire sa direction et sa vitesse. Par exemple, un véhicule sur une voie de circulation sera généralement considéré comme roulant dans le sens de circulation de cette voie. L'historique des détections d'un objet permet d'affiner les prédictions, continuellement mises à jour en fonction des informations reçues.

Catégorisation et calcul de trajectoire des objets détectés

On touche au problème lorsqu'un objet change de catégorie : son historique n'est plus pris en compte pour le calcul des trajectoires possibles. Pour en ajouter une couche, les objets classés dans « autres » sont considérés comme n'ayant pas d'objectif particulier.  Pour ces objets, « leur emplacement actuellement détecté est généralement considéré comme un emplacement statique, à moins que cet emplacement ne se trouve directement sur le trajet du véhicule automatisé, cet objet n'est pas considéré comme un obstacle possible ». Sans être expert on voit vite arriver les problèmes potentiels... 

Le NTSB en profite pour expliquer qu'il en est de même pour les piétons se trouvant en dehors d’un passage clouté : ils n'ont pas d'objectif selon le système. Mais il peut toujours prédire une trajectoire basée sur les vitesses observées, lorsque l'objet est continuellement détecté en tant que piéton. S'il existe un risque de collision, des mesures sont prises.

Seconde par seconde, le déroulement de l'accident

Dans le cas de l'accident de Tempe (Arizona) en mars 2018, le NTSB retrace très précisément les événements :

  • 9,9 secondes avant impact : le véhicule commence à accélérer (il était à 56 km/h).
  • 5,8 secondes avant impact : le véhicule atteint la vitesse de 71 km/h environ, dans le respect de la limitation.
  • 5,6 secondes avant impact : le radar fait une première détection et classe le piéton comme véhicule, sans identifier qu'il croise la trajectoire de la voiture.
  • 5,2 secondes avant impact : le lidar détecte aussi le piéton et le classe dans la catégorie « autre », en estimant qu'il est statique. La vitesse de la voiture est maintenant de 72 km/h.
  • 4,2 secondes avant impact : le lidar classe le piéton comme véhicule, sans garder l'historique des précédentes détections puisqu'il change de catégorie. Le pilote automatique le considère toujours comme statique.
  • 3,9 secondes avant impact : le lidar maintient sa version d'un véhicule. Le système calcule sa trajectoire supposée et estime que l'objet se déplace sur la voie de gauche, à côté de la voiture, sans risquer de croiser son chemin.
  • 3,8 à 2,7 secondes avant impact : le système alterne plusieurs fois entre véhicule et autre pour classer le piéton, perdant l'historique à chaque fois. Le piéton est considéré comme statique ou en déplacement sur la voie de gauche.
  • 2,6 secondes avant impact : le lidar détecte le piéton comme un vélo, de nouveau sans avoir d'historique. La prédiction est alors qu'il s'agit d'un objet statique, qui ne croise pas la route de la voiture.
  • 2,5 secondes avant impact : le lidar maintient sa version d'un vélo et le système dispose désormais d'un court historique pour estimer son déplacement. Il serait sur la voie de gauche et ne croiserait pas la route du SUV. 
  • 1,5 seconde avant impact : le lidar change de nouveau sa version et classe le malheureux piéton dans « autre », sans historique ni objectif, le système considère l'objet comme statique et partiellement sur le chemin de la voiture. Une manœuvre d’évitement par la droite semble alors suffisante. La vitesse est de 71 km/h.
  • 1,2 seconde avant impact : le lidar revient à sa version d'un vélo. On perd de nouveau l'historique et le système estime cette fois-ci qu'il est sur le chemin du SUV. La vitesse est de 69 km/h. Le plan d'évitement défini 300 ms auparavant n'est plus d'actualité, car dangereux ; « la suppression de l'action commence ».
  • 0,2 seconde avant impact : la suppression est terminée (une seconde tout de même). La situation est toujours considérée comme dangereuse, le système baisse la vitesse (64 km/h) et envoie une alerte sonore.
  • 0,02 seconde avant impact : le conducteur donne un coup de volant, désengageant le pilote automatique. La vitesse est de 63 km/h.
  • Impact mortel.
  • 0,7 seconde après impact : le conducteur appuie sur les freins.

Un piéton en dehors d'un passage clouté ? Ça n'existe pas voyons 

La première détection a donc eu lieu moins de 6 secondes avant l'accident, un délai en théorie largement suffisant pour anticiper et éviter le drame. Problème, « le système n'a jamais classé [Elaine Herzberg] comme piéton ni prédit correctement sa trajectoire en tant que piéton ou cycliste piétonnier - parce qu’elle traversait l’avenue en dehors des passages cloutés ».

Or, « la conception du système n'incluait pas la prise en compte des piétons traversant en dehors des passages », explique le régulateur américain. Le Code de la route est une chose, mais on le sait parfaitement : tout le monde n'a pas une conduite parfaite et ne le respecte pas scrupuleusement à la lettre. C'est valable pour les voitures, les piétons, les cyclistes, les trottinettes électriques, etc. 

De plus, le changement régulier de catégorie a également empêché une bonne détection de la direction et de la vitesse d'Elaine Herzberg par le pilote automatique. 

Lorsque la collision est formellement identifiée à 1,2 seconde avant impact, une manœuvre d'évitement aurait nécessité un changement de trajectoire et un freinage trop important, en dehors des capacités définies dans le système. Il a donc lancé la suppression de son plan, qui s'est terminée une seconde plus tard.

À ce moment-là, « le véhicule était toujours sur la trajectoire d'une collision avec le piéton et, pour l'empêcher, il fallait encore une manœuvre d'évitement extrême. De par sa conception, le système n’a pas actionné d'urgence les freins, mais a fourni une alerte sonore au conducteur du véhicule tout en diminuant la vitesse du véhicule ». La suite, tragique, on la connaît. 

Uber accident mortel

37 autres accidents entre septembre 2016 et mars 2018

Pendant l'enquête, ATG (Uber) a partagé avec le NTSB l'ensemble des enregistrements de sa flotte avec au moins un accident impliquant une de ses voitures (responsable ou non) : « Les dossiers ont montré qu'entre septembre 2016 et mars 2018 (à l'exception du crash actuel), il y a eu 37 accidents impliquant des véhicules ATG, qui fonctionnaient en mode autonome ». 

Dans la grande majorité des cas (33 sur 37), un autre véhicule est venu heurter la voiture d'Uber, généralement par derrière. Dans deux cas, la voiture autonome « a été endommagée par un piéton qui passait alors que le véhicule était arrêté ».

Il reste donc deux cas. Une borne de piste cyclable occupant partiellement la voie a été heurtée dans l'un, tandis que dans l'autre, le conducteur a repris le volant pour éviter un véhicule arrivant en sens inverse, en heurtant au passage une voiture stationnée.

Uber a pris des mesures, qui auraient pu éviter le drame

Depuis l'accident mortel, l'Advanced Technologies Group (ATG) d'Uber a retiré ses véhicules autonomes pendant plusieurs mois, avant de les remettre doucement en circulation fin 2018. Le fabricant a aussi « modifié la façon dont le système fusionne les informations du capteur et prédit les chemins possibles pour prendre en compte l'historique de suivi ». Ce n'est pas tout, certains systèmes d'aide à la conduite de Volvo restent désormais actifs avec le pilote automatique Uber, notamment l'avertissement de collision frontale et le freinage d'urgence automatique.

Désormais, la phase de suppression n'existe plus en cas d'urgence (elle a duré une seconde à un moment critique pour rappel). En cas de danger immédiat, le système enclenche le freinage d'urgence, même si cela ne permet pas d'empêcher l'accident (au moins il l'atténuera). Désormais, lorsqu'un objet change de catégorie, son historique est conservé afin de calculer au mieux sa trajectoire, sa vitesse et le risque de croiser le chemin de la voiture. 

Les enquêteurs du NTSB ont demandé à Uber quelles auraient été les conséquences de l'accident de mars 2018 avec l'ensemble de ces changements sur le pilote automatique. En le simulant avec une version de septembre 2018 du logiciel (qui comporte d'autres changements que ceux mentionnés), Uber estime que le piéton aurait été détecté à environ 88 mètres, soit 4,5 secondes avant l'impact. Après analyse, la voiture aurait freiné un peu plus de 4 secondes avant l'impact, un délai qui aurait été suffisant pour éviter le drame.

Quoi qu'il en soit, nous attendons désormais les conclusions de l'enquête du NTSB sur les causes probables de l'accident. Espérons qu'il ne faudra pas un accident mortel par situation inattendue pour agir. Des changements ont été apportés sur le lieu de l'accident, avec des panneaux d'interdiction de traverser pour les piétons.

Pour rappel, Uber a très rapidement (fin mars 2018) signé un accord avec la famille de la victime, s'évitant ainsi une bataille judiciaire. « L'affaire a été résolue », affirmait simplement l'avocate de la famille.

155 commentaires
Avatar de Edtech Abonné
Avatar de EdtechEdtech- 07/11/19 à 16:19:09

Intéressant, mais on voit aussi que celle qui a traversé ne faisait vraiment pas attention ! On ne peut pas tout reprocher à l'IA !

On peut juste supposer, car c'est souvent le cas, que le piéton est parti du principe que la voiture allait ralentir en le voyant de loin et ne s'attendait pas à ce que ce soit une IA au volant, IA qui forcément ne détecte pas aussi bien que c'est un piéton comparé à un vrai pilote.

En fait, la première réaction de l'IA devrait être de ralentir tant qu'il ne pige pas ce que c'est !

Avatar de killtoo Abonné
Avatar de killtookilltoo- 07/11/19 à 16:21:46

Ça parait assez fou leur gestion initiale avec suppression de l'historique lors du changement de catégorisation...
C'est vraiment une grossière erreur dans leur développement, car peu importe l'objet, il a toujours une position, direction, vitesse. Aucune logique alors de tout effacer.

Avatar de darkbeast Abonné
Avatar de darkbeastdarkbeast- 07/11/19 à 16:23:25

killtoo a écrit :

Ça parait assez fou leur gestion initiale avec suppression de l'historique lors du changement de catégorisation...
C'est vraiment une grossière erreur dans leur développement, car peu importe l'objet, il a toujours une position, direction, vitesse. Aucune logique alors de tout effacer.

C'est ce que je me disais, c'est pas sérieux, quel abruti se dit qu'un historique de la situation en cours ne sert à rien.

Avatar de plusquezero Abonné
Avatar de plusquezeroplusquezero- 07/11/19 à 16:26:36

Sympa le victim blaming, en attendant la fille est morte, alors que ça aurait pu être évité, malgré son attitude hors cadre légal.
Si t'es conducteur, que t'as un piéton qui traverse devant toi, tu n'accélères pas ou ne fait pas mine de pas l'avoir vu, parce qu'il est en tort, quitte à le tuer…

Avatar de coco74 Abonné
Avatar de coco74coco74- 07/11/19 à 16:29:51

Alors si on part de ce principe, tout ceux qui traverse au feu rouge pourront se faire écraser par les voitures contrôlées par l'IA par ce qu'ils ne sont pas sensés le faire ?

Avatar de iFrancois Abonné
Avatar de iFrancoisiFrancois- 07/11/19 à 16:30:06

Donc on a :

  • Une IA incapable de conserver un historique, même sur quelques secondes, couplée à une analyse de trajectoire foireuse et à un comportement "par défaut on va dire que ça va, allez on continue"
  • Un conducteur au téléphone qui ne surveille pas la route
  • Une piétonne qui traverse dans le noir, sans doute sans regarder non plus (elle aurait du voir les phares de la voiture)

Au final, la faute en incombe selon moi en grande partie à la piétonne, avec une voiture normale et même avec un conducteur attentif, l'accident était tout de même très probable. 
 
Ceci étant, tout l'intérêt des voitures autonomes est justement d'éviter ce genre d'accident, et de plus le conducteur aurait du réagir bien avant.

 Bref c'est le bordel.  Pour citer l'article ... "on n'est pas sorti de l'auberge" 

Édité par iFrancois le 07/11/2019 à 16:33
Avatar de cyp Abonné
Avatar de cypcyp- 07/11/19 à 16:30:52

darkbeast a écrit :

C'est ce que je me disais, c'est pas sérieux, quel abruti se dit qu'un historique de la situation en cours ne sert à rien.

Au hasard une équipe sous pression qui doit donner des résultat rapide et éviter que son véhicule ne s’arrête tout les 10m à cause de faux positif trop nombreux sur le système de détection.

Avatar de Obidoub Abonné
Avatar de ObidoubObidoub- 07/11/19 à 16:32:16

plusquezero a écrit :

Sympa le victim blaming, en attendant la fille est morte, alors que ça aurait pu être évité, malgré son attitude hors cadre légal.
Si t'es conducteur, que t'as un piéton qui traverse devant toi, tu n'accélères pas ou ne fait pas mine de pas l'avoir vu, parce qu'il est en tort, quitte à le tuer…

Il faut quand même admettre que l'accident est du au cumul de 2 erreurs humaines:

  • Le piéton qui traverse hors du passage clouté et ne dégage pas de la route alors que 6 secondes se sont écoulées
  • Le conducteur de la voiture qui regardait une vidéo et n'était pas attentif

C'est dramatique mais la nature humaine impose toujours plus de contraintes aux systèmes automatisés.

Avatar de Qruby Abonné
Avatar de QrubyQruby- 07/11/19 à 16:35:49

Obidoub a écrit :

Il faut quand même admettre que l'accident est du au cumul de 2 erreurs humaines:

  • Le piéton qui traverse hors du passage clouté et ne dégage pas de la route alors que 6 secondes se sont écoulées

  • Le conducteur de la voiture qui regardait une vidéo et n'était pas attentif

    C'est dramatique mais la nature humaine impose toujours plus de contraintes aux systèmes automatisés.

Surtout que l'IA était en apprentissage, et c'est justement pour cela qu'il y a un conducteur derrière. Du coup, je trouve que dans ce cas précis, le conducteur du véhicule de test est le responsable, car son métier est justement d'éviter que ce type de situation n'arrive.

Avatar de plusquezero Abonné
Avatar de plusquezeroplusquezero- 07/11/19 à 16:45:58

L'accident n'est dû qu'à la voiture qui entre en colision avec le piéton. 6sec c'est beaucoup, c'est pas comme si elle s'était jeté sous les roues.

Les responsables ce sont l'IA et l'agent qui branlait rien.

Ce serait un gamin qui courait après son balon, inconscient des dangers car c'est un *gamin*, ce serait de sa faute aussi ?

Édité par plusquezero le 07/11/2019 à 16:47
Il n'est plus possible de commenter cette actualité.
Page 1 / 16
  • Introduction
  • Une première détection 6 secondes avant l'impact
  • Lidar, radar et caméra : trois « yeux » sur la route
  • Catégorisation et calcul de trajectoire des objets détectés
  • Seconde par seconde, le déroulement de l'accident
  • Un piéton en dehors d'un passage clouté ? Ça n'existe pas voyons 
  • 37 autres accidents entre septembre 2016 et mars 2018
  • Uber a pris des mesures, qui auraient pu éviter le drame
S'abonner à partir de 3,75 €