Vous n'avez pas encore de notification

Page d'accueil

Options d'affichage

Abonné

Actualités

Abonné

Des thèmes sont disponibles :

Thème de baseThème de baseThème sombreThème sombreThème yinyang clairThème yinyang clairThème yinyang sombreThème yinyang sombreThème orange mécanique clairThème orange mécanique clairThème orange mécanique sombreThème orange mécanique sombreThème rose clairThème rose clairThème rose sombreThème rose sombre

Vous n'êtes pas encore INpactien ?

Inscrivez-vous !

Relectures et validations des publications scientifiques : un enjeu à ne pas négliger

Avec la démonstration de 1 = 2
Tech 9 min
Relectures et validations des publications scientifiques : un enjeu à ne pas négliger
Crédits : Halfpoint/iStock

Résoudre des énigmes scientifiques vieilles de plusieurs dizaines d’années est rare. Mais cela arrive parfois « simplement » en utilisant une nouvelle approche. C’est le cas de Lisa Piccirillo pour le problème du « nœud 11n34 », dont la démonstration a été validée par des pairs. Une longue étape à ne pas négliger, surtout en cette période de crise. 

Depuis plusieurs semaines, Lisa Piccirillo fait parler d’elle pour avoir résolu un problème mathématique vieux de 50 ans... en l’espace d’une semaine seulement. Replacer dans son contexte la « rapidité » de la démonstration est d'ailleurs aussi intéressante que l’énigme elle-même, ainsi qu'une étape trop souvent mise de côté : la validation par les pairs.

Car une démonstration du genre nécessite une relecture par des experts du domaine pour s’assurer qu’aucune erreur ne vienne fausser les résultats. Dans le cas de « The Conway knot is not slice » de Lisa Piccirillo cela aura demandé plus d'un an, puisque si la publication date de l’été 2018, elle a seulement été validée fin 2019.

Mais ce temps manque parfois, comme on le voit en cette période où les sciences doivent aller vite – surtout en biologique/médecine pour répondre aux dangers du virus SARS-CoV-2 – menant à de nombreux ratés.

Lisa Piccirillo démêle un sac de nœuds (en 4D) vieux d'un demi-siècle

Contrairement à ce que certains pourraient croire, les mathématiques ne sont pas toujours la science exacte que l’on imagine. Il y a évidemment les théorèmes que tout le monde connaît (au moins de nom) comme ceux de Pythagore, de Thales ou de Fermat… même si ce dernier n'était qu'une conjecture jusqu’en 1994.

Pour rappel, ce terme désigne une « hypothèse formulée sur l'exactitude ou l'inexactitude d'un énoncé dont on ne connaît pas encore de démonstration ». Il en existe des centaines sur l’ensemble des mathématiques.

De manière générale, on suppose que les conjectures sont « des propositions qui ont de fortes probabilités d’être justes, mais que l’on n’arrive pas encore à démontrer ou réfuter ». Il existe bien d’autres problèmes pour lesquels on n’a pas d’idée du résultat, des questions ouvertes en quelque sorte.

Régulièrement, des mathématiciens de tous horizons et formations s’attaquent à des propositions du genre (conjecture ou non) pour tenter de les résoudre. C’est le cas de Lisa Piccirillo, jeune mathématicienne qui s’intéresse à la « topologie et la géométrie des espaces à quatre dimensions ». Sur sa page de l’université d’Austin au Texas, elle explique que sa « thèse étudie les nœuds et les espaces à quatre dimensions et résout deux problèmes mathématiques bien connus ».

En mathématique, on parle des mêmes nœuds que ceux d’une corde, sauf qu’il n’y a pas d’extrémité : la corde est « fermée ». Son travail « donne un argument surprenant et élégant répondant à une emblématique question vieille de 50 ans », explique le professeur John Luecke, qui était aussi son directeur de thèse.

Sans trop entrer dans les détails, le passage de trois à quatre dimensions ouvre de nouvelles manières de penser (ce qui demande une certaine gymnastique d’esprit), bien utiles dans le cas présent :

« Si une fourmi vivant sur la terre souhaite quitter une île sans toucher l'eau, elle va avoir du mal. En 2D sur la surface de la Terre, l'eau entoure complètement l'île. Mais si la fourmi construit un pont – qui monte, dans une troisième dimension, au-dessus de l'eau – alors elle peut quitter l'île. On raisonne naturellement en 3D.

Étudier un espace en 4D est amusant parce que, tout comme la fourmi peut quitter l'île une fois qu'elle peut monter, beaucoup plus de choses sont possibles en quatre dimensions ».

« Conway était un heureux hasard », résolu très rapidement

Durant sa thèse, Piccirillo s’est attelée à deux sujets : « un de la liste des problèmes de Kirby et un autre posé pour la première fois par John Conway ». Pour Kirby, elle a trouvé ce problème intéressant, mais « probablement difficile ». Quelques mois plus tard, un autre mathématicien découvrait une solution, mais pour un cas particulier uniquement. C’était suffisant pour qu’elle se lance, estimant qu’avec des « outils modernes » il serait peut-être plus accessible.

« Le cas du problème de Conway était un heureux hasard : quelqu'un l'a mentionné dans un discours [en juillet 2018, ndlr] et j'ai réalisé immédiatement qu'il devrait être accessible en utilisant les outils que j'étudiais ». Là encore, on vous épargne les détails, mais sachez qu’il s’agit de savoir si le nœud 11n34 est ou non une « tranche » (spoiler alert, la réponse est non).

Elle n’avait donc jamais entendu parler du problème de Conway auparavant, mais elle n’est pas partie de zéro pour le résoudre. Comme elle l’explique elle-même, elle a utilisé ses travaux sur le problème de Kirby. Ce qui permet de reconsidérer la « facilité » avec laquelle elle est arrivée à la solution, souvent mise en avant.

Reste que la démonstration est relativement courte : six pages. Des travaux qui lui ont permis d’obtenir un poste de professeur assistant au MIT de Cambridge. Cette histoire est néanmoins l’occasion de rappeler que, parfois, il suffit de prendre une approche différente – avec un « argument surprenant et élégant » selon le professeur John Luecke – pour trouver une solution à un problème, même s’il a déjà plusieurs dizaines d’années… et ce n’est pas un cas isolé.

On peut par exemple citer cet étudiant tunisien qui a résolu « l’énigme » vieille d’une centaine d’années d’une bulle de gaz coincée dans un tube... qui ne sont pas coincées mais « se déplacent simplement très, très lentement ». D’autres démonstrations ou résolutions de problèmes arriveront certainement au cours des prochaines années, avec des incidences plus ou moins importantes sur notre vie de tous les jours. Si quelqu‘un trouvait par exemple un moyen simple et rapide de factoriser un grand nombre, il pourrait alors casser le chiffrement RSA sans faire appel à une machine « quantique ».

La question des préprint et de la relecture par les pairs

La démonstration de Lisa Piccirillo était publiée sur arXiv le 8 août 2018 et soumise pour relecture par ses pairs à Annals of Mathematics le 15 août, soit à peine une semaine plus tard. Pour rappel, publier un article sur arXiv ne signifie pas qu’il a été relu et validé : il s’agit d’une plateforme d’archives ouverte de prépublications (préprint) électroniques où les chercheurs peuvent diffuser leurs travaux, les mettant à la disposition de la communauté.

Aucune relecture n’est faite en amont par des pairs, qui ne peuvent donc attester du travail et des conclusions. Une étape pourtant indispensable pour ce genre de recherches, que le commun des mortels ne peut généralement pas comprendre ou juger en connaissance de cause. Ce qui n'exclut pas que les conclusions de certaines études soient régulièrement citées à la va-vite, présentées comme des certitudes, puis déformées au fil des reprises dans la presse.

Ce travail de vérification peut prendre du temps, beaucoup de temps. Dans le cas de la démonstration de Lisa Piccirillo, la soumission est arrivée le 23 septembre 2018 et la publication sur Annals of Mathematics le 13 février 2020, soit presque 18 mois plus tard. Un délai courant. Il y a même parfois bien plus long.

Avec la conjecture de Poincaré par exemple, résolue en bout de course par le Russe Grigori Perelman en 2003 : « Il met sept ans pour rédiger une démonstration pleine d’ellipses et particulièrement difficile à appréhender pour ses relecteurs. Au moins quatre groupes s’attellent à la vérification, qui dure également sept ans », explique le CNRS.

Mais cette étape est cruciale car elle confirme le travail des chercheurs. Le but n’est évidemment pas de remettre en cause leur intégrité ou leurs compétences, mais une erreur ou approximation peut arriver à tout le monde, et il n’est pas toujours facile de la déceler. Après tout, même Sheldon Cooper a fait une « faute arithmétique » sur la deuxième page de travaux présentés à Stephen Hawking dans la saison 5 de The Big Bang Theory (épisode 21, La Vengeance D’ Howard).

À un tout autre niveau (des plus basiques), vous pouvez regarder la vidéo du professeur de mathématiques Yvan Monka (auteur de la chaîne Maths et Tiques) qui « prouve » que 1 = 2. La démonstration est simple, rapide (3 minutes chrono) et accessible à tout le mode même sans connaissance particulière… à un détail près : elle est évidemment fausse (un indice si besoin pour comprendre l’erreur : on ne peut pas diviser par zéro).

Garder un esprit critique face aux prépublications

Bref, les travaux en préprint doivent être pris avec précaution, et par tout le monde : journalistes, scientifiques, personnalités politiques, chercheurs, grand public…

Columbia Journalism Review, une revue américaine destinée aux journalistes et éditée par la Columbia University Graduate School of Journalism, revient sur ce sujet et dresse des pistes de réflexion face aux « études ». Elles concernent les publications préprint sur le virus SARS-CoV-2 et la maladie Covid-19, mais les conseils sont finalement valables pour toutes les prépublications scientifiques (donc non validées par des pairs).

Plusieurs éléments sont mis en avant, le plus basique étant de lire intégralement l’étude et de ne pas se limiter au résumé, ou pire au communiqué l’accompagnant. Un sujet déjà évoqué dans un édito début 2018, qui reste toujours d’actualité :

Il ne faut pas hésiter à poser des questions qui pourraient paraître stupides (ce n’est jamais le cas, il est important de tout comprendre), quantifier les données et les résultats, vérifier les effets secondaires (qu’il faut souvent aller chercher au fin fond de l’étude), regarder qui a abandonné les tests en cours de route, lire les commentaires, demander l’avis d’experts du domaine externes à l’étude, etc. Bref, un peu de bon sens et d’esprit critique face à ce genre de publications.

C’est d’autant plus important que leur nombre a explosé depuis le début de la pandémie – pour aller « plus vite » en cette période crise sanitaire – avec du bon et du moins bon. Le CNRS était récemment revenu sur un exemple avec une étude de 12 universitaires italiens sur la propagation du virus SARS-CoV-2, reprise par « de grands journaux nationaux et internationaux […] et présentés comme acquise », alors qu’elle n’avait pas été validée par des pairs.

Ce sujet soulève aussi la question de l’accès aux publications et des sommes demandés par les éditeurs de revues spécialisées comme Elsevier, Spinger, Nature, Wiley Blackwell's et Taylor & Francis. Bonne nouvelle tout de même : la France et le CNRS veulent arriver rapidement à 100 % de publications en accès ouvert.

28 commentaires
Avatar de ArchangeBlandin Abonné
Avatar de ArchangeBlandinArchangeBlandin- 05/06/20 à 07:12:31

Soit le bon sens n'est pas inné, soit il n'existe pas.

Ce serait plus sûr d'enseigner l'esprit critique et la méthode scientifique à l'école.

Avatar de ntree Abonné
Avatar de ntreentree- 05/06/20 à 07:15:39

Arf, le rappel est salutaire, mais la question plus générale du fonctionnement de la recherche est assez alambiquée et il y a plein d'enjeux contradictoires.

Dans la pratique les préprints sont utilisés certes pour aller vite et accélérer les cycles d'échange d'idées, mais aussi parce que c'est un bon moyen de conserver une version accessible à tous d'un article qui, dans sa version "revue" ne sera accessible que de manière payante (merci les transferts de PI dans les contrats avec les revues). Et puis pour le fond, les problèmes sont connus même si je ne suis pas certain que les décisionnaires aient envie de se saisir du problème à bras le corps. Dans la recherche, il y a des gens très bien, qui adorent leur métier et font un boulot de romain. Il existe aussi des gens qui en font le minimum. On a donc voulu mettre une forme de contrôle, en surveillant principalement les publications. Il s'est avéré que c'était un critère bien insufisant qui n'améliorait pas forcément le fonctionnement global parce que :
  • une bonne revue d'article, qui creuse, vérifie, s'interroge, apporte des retours intéressants ;

  • prendre le temps en parallèle d'une publication de peaufiner/commenter/open-sourcer du code et des jeux de données pour permettre une reproduction facile ;

  • reproduire une expérience ;

  • prendre le temps de décrire ses résultats négatifs ;

    Tout ça, c'est très utile, mais ça ne rapporte rien d'un point de vue évaluation/carrière.

    D'où la situation actuelle où les incitations individuelles (publier le max le plus vite possible même si sans grand intérêt) sont contradictoires avec l'intérêt commun.

Édité par ntree le 05/06/2020 à 07:18
Avatar de Fabz31 Abonné
Avatar de Fabz31Fabz31- 05/06/20 à 07:48:50

Sur ce sujet j'ai adoré la vidéo de David Louapre de la chaine science étonnante

Les politiques d'austérité : à cause d'une erreur Excel ? [durée:16min]

Avatar de Norde Abonné
Avatar de NordeNorde- 05/06/20 à 08:10:52

La problématique est très différente selon le domaine aussi.

En biologie la relecture n'est faite que par 2 à 3 pairs (très rarement plus), gratuitement pour le compte des éditeurs et en quelques jours. De ce fait, aucun essai de reproductibilité n'est réalisé.
Généralement on nous donne 2 semaines à 1 mois pour répondre aux critiques des relecteurs (ce qui est très court), d'autant plus que la réponse peut intervenir n'importe quand (la semaine suivante comme dans 3 mois, en décembre comme en aout, vous devez être disponible immédiatement...)
Pire, la reproduction des résultats d'autrui est même découragé puisque ça n'est pas publiable (ou alors dans des revues "mineures", soit du temps et de l'argent utilisé avec comme seule récompense une mauvaise évaluation de son travail...).

Résultat : la relecture est au petit bonheur la chance, parfois tatillon, parfois totalement complaisant (le nom des auteurs ayant une grande influence sur le processus). Et la qualité / véracité des résultats est aux fraises.
Sans parler des auto-publication (=je publie dans ma propre revue ou celle des mes amis. Coucou Raoult !).

Si vous saviez le nombre de résultats que l'on arrive pas à reproduire...

 
Les éditeurs choisissent également leur thématiques "vendeuses" (= avec du potentiel industriel derrière), et selon votre sujet les "grandes revues" vous seront ouverte ou non (peut importe la qualité et la quantité de travail fourni).
Ainsi on peut très bien se faire jeter par l 'éditeur (en nous enjoignant "poliment" à publier dans des revues bas de gamme) alors que l'on propose un papier 3 fois plus fournis que celui qui a été publié 2 semaines auparavant, simplement car le modèle n'est pas "sexy" (ex: pathogène de plante au lieu de pathogène humain).

Pour les preprints en biologie, ils sont surtout utilisés pour éviter de se faire "doubler" : il n'est pas rare de voir des chef de laboratoires "prestigieux" venir questionner les thésards en congrès dans le but de piquer quelques infos croustillantes et de lancer le même sujet derrière, mais avec 4 fois plus de moyens, histoire de coiffer tout le monde au poteau...
Et comme nous sommes évalués d'après nos publications (enfin d'après leur "prestige") et non pas sur le contenu ni la qualité du travail et bien une telle perte équivaut à n'avoir pas travaillé du tout.... (ambiance).
 

Bref, le système de publication et de relecture est en soit un gros problème et nous serions déjà les plus heureux du monde si on pouvait s'y fier.

Sauf que ce système est totalement obsolète (en plus d'être gangréné et verrouillé par les géants de l'éditions).
Même avec la meilleure des volonté et un travail méticuleux, on ne peut relire et vérifier correctement des travaux de plusieurs années en quelques jours.
La publication comme la relecture devraient être un processus continu et ouvert (à la manière d'un dépôt github avec ses révisions, ses commits et ses rapports de bug).

Avatar de ndjpoye Abonné
Avatar de ndjpoyendjpoye- 05/06/20 à 08:15:19

Fabz31 a écrit :

Sur ce sujet j'ai adoré la vidéo de David Louapre de la chaine science étonnante

Les politiques d'austérité : à cause d'une erreur Excel ? [durée:16min]

Elle est pas mal. J'ai bien aimé le passage où tu vois les réactions différentes au sujet de la publication.
T'aurais Georges Osborne qui parle de recherche suggérant que, et Olli Rehn qui est sur du "il est largement reconnu".

On a encore eu ce phénomène ces derniers mois. Il faudrait peut-être obliger les politiques à suivre des formations sur la démarche scientifique :transpi:.
Et aussi faire ce que propose ArchangeBlandin :)

Édité par ndjpoye le 05/06/2020 à 08:15
Avatar de ndjpoye Abonné
Avatar de ndjpoyendjpoye- 05/06/20 à 08:21:37

Très intéressant, merci.

Quand tu dis que le processus est gangréné et verrouillé par les géants de l'éditions, de ton point de vue ce verrou dépend principalement du potentiel industriel ou d'autres paramètres entre significativement en jeu (copinage, géopolitique ou autre encore) ?

Avatar de Norde Abonné
Avatar de NordeNorde- 05/06/20 à 09:01:54

Un peu de tout à la fois.
La "sélection" des sujets n'est pas basée sur la rigueur ou la qualité scientifique mais sur le côté "vendeur" (potentiel industriel, méthode à la mode, etc... parfois on est plus dans le marketing que dans la science, particulièrement lors de la rédaction des titres et des abstract d'articles ^^).

Il y a également une forte sélection par copinage : les postes d'éditeurs et de relecteurs sont des postes clés (qu'il convient de ne pas refuser sous peine d'être handicapé pour publier, même si c'est du bénévolat forcé...).
Ils permettent d'aacquerir un pouvoir non négligeable comme l'obtention de passes droit à la publication (certaines revues offrent une publication facilitée pour ses relecteurs, même parmi les plus célèbres. PNAS par exemple). Ou encore emmerder la concurrence pour son propre compte ou parfois pour des conflits remontant aux années 60... (qui n'a pas encore eu le "fameux" relecteur zélé qui n'hésite pas à raconter n'importe quoi pour discréditer un article... Parfois on s'en sort en écrivant à l'éditeur et en lui montrant le surréalisme des commentaires du reviewer en question, parfois on est rejeté car "l'avis du reviewer est négatif", et l'éditeur ne veut rien savoir ce même si cet avis est complétement loufoque...).
Dans tous les cas ce sont des mois de perdus.

Et enfin la nationalité joue.
Certaines grandes revues américaines favorisent clairement leurs poulains (encore PNAS par exemple, non pas que j'ai une dent contre eux mais j'ai de l'expérience avec ces derniers). Et encore, nous sommes aidés par la présence d'un natif américain dans l 'équipe (arrivé depuis peu en France pour raison familiale après avoir été en poste aux USA). Mais même là la discrimination continue : on s'est déjà fait retoqué pour la "qualité de l'anglais", alors que l'article a été entièrement revu par ce chercheur Américain... tout simplement car le laboratoire était Français. Et ce n'est qu'en usant de ses relations que l'éditeur à bien voulu reconnaitre que c'était surement une erreur ("peut être que deux manuscrits ont été confondus" nous à t'on dit...).

Cela des exemples par ci par là mais dans l'ensemble cela traduit l'ambiance particulièrement malsaine du monde de la publication (en biologie en tout cas) :mad2:

Avatar de ndjpoye Abonné
Avatar de ndjpoyendjpoye- 05/06/20 à 09:33:11

Merci d'avoir répondu à ma question.

Nb : ça ne va pas encourager des vocations tout ça :transpi:

Avatar de niok35 Abonné
Avatar de niok35niok35- 05/06/20 à 09:33:26

+1 Merci pour l'info

Avatar de chichillus Abonné
Avatar de chichilluschichillus- 05/06/20 à 10:12:12

Ce moment où tu viens de relire un des pires papiers de ta vie, tu hésites entre 1/10 et 2/10, tu mets 2/10 parce que t'es sympa, avec plusieurs pages pour démonter tout ce qui ne tient pas la route (méthodo, connaissance du domaine, etc.). Et là, un second reviewer pose une review d'une ligne: "Un article qui fera date. 10/10." :mdr:Moyenne du papier: 6/10, ça passe (oui, c'était pas très select).

Dans l'autre sens, je pense que tous les gens qui publient ont dans un coin un best-of de reviews invraisemblables, à base de relecteurs qui ont juste lu le résumé, qui te disent carrément que toute ta discipline, c'est de la merde, ou qui trouvent que le papier pourrait être acceptable, à condition que tu cites XXX, qui n'a pourtant qu'un lointain rapport avec le truc.

Ceci dit, en tout cas en informatique, j'ai pas trop le souvenir de reviews pourries dans de grosses revues; en général on a droit à des pavés très étayés, et même parfois pédagogiques quand il y a des problèmes. Mais je publie pas beaucoup, j'ai peut-être eu de la chance :D.

Il n'est plus possible de commenter cette actualité.
Page 1 / 3