En 2017, des chercheurs en psychologie et psychiatrie pensaient avoir trouvé une manière très efficace de détecter des idées suicidaires chez les jeunes. Mais six ans après, ils se résolvent à retirer leur étude alors que plusieurs de leurs collègues pointent des erreurs dans l'utilisation du machine learning dans leurs travaux.
Dans un article publié en 2017 dans la revue scientifique Nature Human Behavior, le chercheur en psychologie à l'université de Carnegie Mellon, Marcel Adam Just, et ses collègues annonçaient avoir trouvé un biomarqueur, c'est-à-dire une caractéristique biologique mesurable dans le temps, permettant de détecter les idées suicidaires.
Les chercheurs proclamaient qu'après avoir fait passer une imagerie par résonance magnétique fonctionnelle (IRMf) à un patient qui pensait à 30 concepts comme « mort », « cruauté », « trouble », « bon » ou « insouciance », leur algorithme de deep-learning analysant les images résultantes était capable de détecter si une personne était suicidaire avec une « précision élevée (91 %) ».
Cet article a eu un certain succès dans la communauté scientifique puisqu'il a été cité 134 fois par d'autres chercheurs si on en croit le Web of Science (plateforme de statistique de l'édition scientifique), et notamment par un article publié dans Nature Medecine en 2019 passant en revue l'utilisation de plus en plus importante de l'intelligence artificielle en médecine.
Mais Marcel Adam Just avait tout faux. Les auteurs viennent de retirer leur article ce jeudi 6 avril, alors que deux autres chercheurs ont publié ce même jour un article très critique sur leur mauvaise utilisation de l'intelligence artificielle.
Une méthode « défectueuse »
L'article original est remplacé par une note de rétractation expliquant que celle-ci intervient « après que des inquiétudes ont été soulevées quant à la validité de leur méthode de machine learning ». La revue explique dans cette note que les auteurs « ont confirmé que leur méthode était effectivement défectueuse ».
Déjà en 2018, une « lettre » publiée dans la revue par Debra Ann Dawson, chercheuse en neurologie et neurochirurgie de la même université que Just, posait la question d'un problème de généralisation sur d'autres populations que celle étudiée et un potentiel problème de méthode.
En 2021, l'article avait suscité une critique plus poussée publiée, elle aussi, dans la même revue par Simon B. Eickhoff et ses collègues chercheurs à l'Institut allemand de Neuroscience et Médecine : Cerveau et Comportement (INM-7).
« Bien qu'il s'agisse d'un effort louable sur un sujet difficile, cette étude illustre malheureusement certains problèmes conceptuels et techniques courants dans ce domaine, qui limitent la transposition dans la pratique clinique et suscitent des espoirs irréalistes lorsque les résultats sont communiqués au grand public », expliquaient-ils.
L'article pointait que Marcel Adam Just et ses collègues avaient « exclu de l'analyse principale plus de la moitié des patients et des témoins sains initialement inscrits dans l'étude parce qu'ils ne disposaient pas des effets souhaités sur l'imagerie par résonance magnétique fonctionnelle ». La critique ajoutait que la recherche avait été effectuée sur trop peu de données pour que l'étude soit réellement significative.
Mais cette critique n'avait apparemment pas été suffisante aux yeux des auteurs et de l'éditeur scientifique pour justifier le retrait de l'article.
Ce n'est que cette année, avec l'analyse de l'étude par deux autres chercheurs – dont Timothy Verstynen, qui fait partie de la même université que Just –, que les auteurs se sont résolus à retirer leur article.
Entrainement et test sur les mêmes données
Mais c'est aussi que cette analyse est encore plus problématique concernant le travail de Just et de ses co-auteurs sur l'utilisation du machine learning en tant que tel. Selon Timothy Verstynen, « la sélection de caractéristiques [« Feature selection » en anglais, sélection qui permet de construire le modèle en machine learning, ndlr] semble s'appuyer sur les mêmes données que celles utilisées dans l'évaluation finale du modèle ».
Il s'en est rendu compte en essayant de reproduire l'expérience avec les codes partagés par les auteurs de l'étude.
Timothy Verstynen a expliqué à Retraction Watch, blog spécialisé sur le retrait d'articles scientifiques, que son idée de départ n'était pas de faire rétracter l'article, mais de chercher à clarifier les méthodes utilisées.
Pour lui, mais aussi pour Simon B. Eickhoff, le retrait n'aura pas beaucoup d'effet sur les méthodes actuelles, car le domaine a évolué depuis, rapporte aussi Retraction Watch.
Si Timothy Verstynen ne reproche pas non plus à la revue scientifique d'avoir suivi les procédures, il aurait aimé que celle-ci se passe avec plus de transparence.
Mais on peut aussi se poser des questions sur la généralisation de l'utilisation des techniques d'intelligence artificielle par des chercheurs qui n'en sont pas des spécialistes. Dans l'article incriminé, tous les auteurs sont des chercheurs en psychologie ou en psychiatrie et leur équipe n'intègre pas de spécialiste des données. On peut imaginer que la consultation d'un connaisseur du sujet aurait permis de ne pas passer à côté de cette erreur qui a quand même touché une partie non négligeable de la recherche sur le sujet, vu le nombre de citations de l'article dans la littérature scientifique.
