Si les fabricants sont prompts à parler de leurs voitures autonomes, ils sont bien moins loquaces sur les « bugs » de leurs systèmes. En Californie, le DMV a publié les rapports des sociétés autorisées à mener des expérimentations sur ses routes. L'occasion de faire le point sur le nombre et les raisons de « désengagement » du pilote automatique.
La Californie attire de nombreux fabricants et équipementiers souhaitant tester leurs voitures autonomes en conditions réelles. En plus de regrouper plusieurs sociétés dans la Silicon Valley, l'État américain permet depuis longtemps de réaliser simplement des expérimentations, ce qui n'est pas forcément le cas partout. Dernier exemple en date, la volonté d'autoriser des voitures autonomes « sans conducteur derrière le volant » dès cette année.
Des rapports de désengagement détaillés pour une vingtaine de sociétés
Depuis trois ans maintenant, le Department of Motor Vehicles (DMV) de l'État de Californie publie les « disengagement reports » des sociétés autorisées à mener des expérimentations. Il s'agit des cas où le chauffeur a dû reprendre le contrôle du véhicule, quelle qu'en soit la raison. La plupart des entreprises précisent également les raisons ayant conduit à l'arrêt du pilote automatique.
Si une cinquantaine de sociétés peuvent mener des tests, toutes ne sont pas soumises à l'obligation de déposer leur rapport. En effet, seuls les fabricants dont l'autorisation date de 2016 ou avant sont concernés, et ils avaient jusqu'au 1er janvier 2018 au plus tard.
19 rapports avec 2 250 désengagements, sur un total de plus de 815 000 kilomètres
Au total, vingt entreprises sont concernées pour l'année dernière. Les rapports publiés couvrent la période allant du 1er décembre 2016 (ou de la date de délivrance de l'obtention du permis) au 30 novembre 2017. Sur l'année dernière, une seule société n'a pas joué le jeu selon le DMV : Faraday Future, mais l'agence affirme qu'elle ne compte pas se laisser faire aussi facilement.
Si certains comme Baidu, GM Cruise et Waymo (Google) jouent le jeu avec des rapports détaillés et facilement lisibles, d'autres comme Bosch, Mercedez-Benz, Nissan, NVIDIA, Telenav et Valeo envoient un PDF contenant des images des documents scannés.
Entre 2 et 9 000 km de moyenne entre chaque désengagement, le cas particulier de Tesla
Sur les 19 sociétés ayant remis un rapport de désengagement, sept expliquent ne pas avoir mené de tests en mode autonomes sur les routes publiques de Californie durant la période concernée : BMW, Ford, Honda, NIO, Volkswagen, Wheego et... Tesla.
Ce dernier explique qu'il « n'a testé aucun véhicule en mode autonome sur les routes publiques en Californie, tel que défini par la loi californienne ». Pour ces expérimentations, le constructeur utilise un « mode shadow » où la voiture enregistre les actions qu'elle aurait pu prendre en mode autonome, afin de les comparer à celles du conducteur.
Le fabricant peut ainsi essayer de voir si son pilote automatique aurait pu éviter un accident, ou au contraire en produire un, sans pour autant le déployer entièrement sur les routes publiques. Tesla peut ainsi s'entrainer sur des millions de kilomètres avec des exercices en situation réelle.
Ainsi, il reste 12 rapports de désengagements à analyser. Nous avons regroupé dans le tableau ci-dessous le nombre de désengagements de chaque pilote automatique, la distance parcourue par les différentes voitures des sociétés, ainsi que la distance moyenne entre chaque désengagement... et il y a de très fortes disparités :
Quelles sont les principales causes des désengagements ?
Pour bien analyser la situation, il faut maintenant se pencher sur les conditions ayant conduit au désengagement du pilote automatique, du moins lorsqu'elles sont précisées.
Dans le cas de Baidu, une « divergence de perception » est responsable quasiment une fois sur deux, suivie d'une « manœuvre non désirée » dans 9 des 48 cas, tandis qu'une faute du système est incriminée cinq fois. Chez Bosch, la situation est différente puisqu'il est question de « tests prévus » pour l'ensemble des 598 désengagements.
Du côté de Delphi, le « trafic piéton » est responsable de 25 des 81 cas. Arrive ensuite la détection des feux tricolores dans 13 cas et un marquage des voies au sol de « mauvaise qualité » dans 9 cas.
Dans 41 désengagements sur les 92 recensés par Drive.ai, un « comportement indésirable » est à l'origine, mais nous n'aurons pas plus de détails. Viennent ensuite 20 « désengagements préventifs » à cause de cyclistes, de piétons, de la pluie, etc. Notons également une « erreur système de détection » dans 14 des 92 cas.
Chez GM Cruise, une « prise de contrôle préventive » est également la plus grande cause de désengagement du pilote automatique puisqu'elle est responsable de 60 des 105 cas. Pour les 45 restants, l'origine est le « mauvais comportement des autres usagers » de la route.
Passons ensuite à Nissan, dont plus d'un tiers des désengagements est lié au... « crash du système ». 6 des 24 cas sont liés à la vitesse adoptée par la voiture autonome alors qu'elle s'approchait d'un autre véhicule. Quelques mentions spéciales pour la voiture qui « ne s'arrête pas entièrement à une intersection », ou qui s'engage dans un carrefour alors que les feux de signalisation venaient de passer au rouge.
Chez Telenav, des « problèmes de direction » et de « conservation des distances » étaient largement présents jusqu'à l'été dernier. Depuis, les causes de désengagements ont changé (le logiciel aurait-il été amélioré ?) et concernent des voies bloquées ainsi qu'un rapprochement jugé trop près des bordures des trottoirs ou de véhicules stationnés.
Waymo (Google) est certainement la société proposant le bilan le plus complet. Le trio des désengagements du pilote automatique pour le géant du Net est le suivant : « manœuvre non désirée », « différence de perception » et « discordance matérielle ». À eux trois, ils représentent 48 des 63 cas.
Enfin, Zoox indique que dans 8 des 14 désengagements, un « désaccord de planification » est en cause. Vient ensuite une « contradiction matérielle » dans 5 cas. Le dernier désengagement étant une « différence de perception ».
Les autres ne donnent pas de détails. Mercedes-Benz se contente d'expliquer que 602 désengagements ont été effectués de manière automatique, tandis que les 240 restants étaient manuels. Chez NVIDIA, les 109 désengagements ont été effectués manuellement. Quant à Valeo, c'est le silence radio.
Des différences importantes, Waymo (Google) largement en tête... en Californie
Bref, si certains constructeurs jouent parfaitement le jeu, d'autres ne se contentent que du minimum pour répondre aux demandes du DMV... quand ils transmettent les données nécessaires (il manque toujours celles de Faraday Future pour rappel).
Les écarts de perception entre machine et chauffeur sont souvent cités par les fabricants pour cause importante pour les désengagements, mais sans préciser quelle solution était finalement la plus adaptée et si le comportement de la voiture autonome pouvait être dangereux. Il reste encore de nombreux cas où les capteurs matériels ne jouent pas parfaitement leur rôle (détection des piétons, vélos, des feux, etc.), sans compter les « crashs » du système dont les conséquences pourraient être graves sur des voitures de série.
Notez par contre que dans le cas de Bosch ou Valeo, le grand nombre de désengagements cela ne signifie pas obligatoirement que le système n'est pas au point : il peut s'agir de tests planifiés pour vérifier le comportement de la voiture autonome.
Deux constructeurs sortent largement du lot : GM Cruise avec plus de 200 000 km et Waymo avec plus de 500 000, quand la concurrence est à moins de 10 000. Dans tous les cas, Google est pour le moment largement en tête sur le nombre de kilomètres moyen entre deux désengagements du pilote automatique avec plus de 9 000, quand son plus proche concurrent GM Cruise est à 2 000. Ensuite, Nissan est à 336 km, Zoox à 258 km, Drive.ai à 105 km, etc.
Il faut évidemment relativiser ces chiffres : ils ne concernent que l'État de Californie, sur des routes publiques. Plusieurs constructeurs expliquent en effet qu'ils mènent des expérimentations dans d'autres États, voire au niveau international. Néanmoins, ils se gardent bien de donner des chiffres précis.
