ChatGPT chamboule les examens

Environ 42
ChatGPT chamboule les examens
Crédits : FatCamera/iStock

La récente popularité du robot conversationnel ChatGPT n'a pas manqué d'atteindre les étudiants. Elle risque de chambouler la façon d'enseigner et de contrôler les connaissances des étudiants.

Si les créateurs de ChatGPT, OpenAI et son PDG Sam Altman, ont admis dès sa sortie que cette IA conversationnelle pouvait faire des erreurs et sortir des réponses farfelues, les étudiants, eux, ont bien compris  que ChatGPT avait les capacités de répondre à beaucoup de questions posées par leurs enseignants tout en tenant très bien l'illusion d'un discours construit et pensé et qu'ils n'avaient pas forcément besoin, pour valider un cours, de rendre un devoir parfait. Et même si le chatbot est l'occasion de raviver les débats sur les compétences de l'intelligence artificielle, il est bel et bien là.

Alors que nous sommes encore en pleine période d'examens universitaires, des enseignants ont déjà détecté l'usage de l'outil par des étudiants à l'occasion de devoirs maison. Qu'ils veuillent l'interdire, l'encadrer ou l'intégrer, l'usage de ChatGPT va changer la façon dont les profs enseignent et contrôlent les examens rendus par documents numériques.

Si l'outil a d'ailleurs beaucoup fait parler de lui sur les réseaux sociaux et, la plupart du temps, pour s'amuser ou pour faire des exercices de créativité, c'est dans le domaine de l'éducation qu'il a attiré le plus de craintes et de critiques, selon des chercheurs de l'université d'Adelaide en Australie, qui ont mis en ligne un article [PDF](non relu par leurs pairs) étudiant les sentiments des « early adopters » à propos de ChatGPT. Si certains imaginent que ChatGPT peut apporter des nouvelles façons d'enseigner, d'autres s'inquiètent de la manière dont son utilisation pourrait entraver le processus d'apprentissage des étudiants.

Curiosité des enseignants

ChatGPT a, c'est certain, attiré la curiosité de nombreux enseignants. Beaucoup ont essayé de tester les capacités du robot conversationnel sur leur discipline, pour répondre à des questions plus ou moins fondamentales et déceler les défauts des textes rendus.

L'enseignant Elie Allouche, qui est aussi chef de projet innovation numérique et recherche au ministère de l'Éducation Nationale, a publié un billet analysant une conversation avec ChatGPT sur lui-même, une sorte de mise en abyme, pour l'analyser ensuite.

Stéphane Crozat, lui, a essayé de bâtir un examen autour de l'outil. L'enseignant-chercheur en informatique à l'UTC de Compiègne donne justement un cours intitulé « Écrire sur le web » pour un niveau de début d'études supérieures. Quoi de mieux, comme examen, que de faire analyser à ses étudiants les réponses de ChatGPT sur des sujets comme « comment fonctionne internet », des éléments historiques comme la naissance du web et éthico-politique comme le capitalisme de surveillance ? Problème. « Les premiers résultats obtenus étaient beaucoup trop bons pour ça et, s'il y avait des choses à redire, ça épuisait quasiment ce que j'attendais de mes étudiants », nous explique-t-il.

Finalement, l'examen donné fut beaucoup plus classique avec, en plus, interdiction explicite d'utiliser ChatGPT. Mais l'enseignant n'a pas abandonné son expérience, il l'a juste modifiée en posant les diverses questions de son examen au chatbot. Résultat, après première lecture des réponses de ChatGPT, «  à l'œil, on est sur du 15/20 », s'étonne-t-il, dans le haut des résultats de ses étudiants.  « L'essentiel de ce qui manque, ce sont les sources », ajoute l'universitaire.

Et quand ils demandent des sources à chatGPT, Elie Allouche et Stéphane Crozat constatent tous deux que le chatbot peut parfois donner des sources pertinentes, mais qu'il est aussi capable d'en inventer, hallucinant les justifications des textes qu'il produit.

Questionnements sur l'évaluation et la motivation

Si le robot a des limites qu'il ne pourra peut-être pas dépasser, certains se posent des questions sur l'avenir de l'exercice de la dissertation comme outil d'évaluation. Interrogé par la revue scientifique Nature en décembre dernier, Lilian Edwards, un étudiant en droit et innovation, lâchait : « Je pense que l'évaluation des dissertations est morte, vraiment. ».

Dirk Weissmann, professeur d'étude germanique à l'Université Toulouse Jean-Jaurès, s'appuie sur l'exemple de DeepL dans l'enseignement et l'évaluation de la traduction pour exprimer ses craintes.

« Je perçois là quelque chose qui met en cause tous les rituels scolaires de l'acquisition des savoirs. En langue, on a un précédent concret qui est Deepl. Cet outil peut nous amener à ne plus motiver des jeunes à apprendre des langues étrangères et à traduire de manière traditionnelle », explique l'enseignant.

Cette crainte n'est pas celle d'une peur de la technique. Le professeur explique qu'il se sert lui-même de DeepL pour ses traductions brutes, mais qu'il utilise ses connaissances pour améliorer les résultats perfectibles de la machine.  « Mais si nous n'arrivons plus à former des étudiants qui ont ces mêmes compétences, ça change tout », craint-il. Dirk Weissmann explique qu'avec DeePL, certains grands centres de traductologie discutent de réorganiser leur cursus face à cette évolution pour aller plus vers des cursus de post-editing, laissant faire la machine pour intervenir après.

De nouvelles épreuves à inventer

Pour Stéphane Crozat, « la question du contrôle n'est pas évidente. L'alternative est de réinterroger l'exercice qu'on leur demande et de faire en sorte que ce soit suffisamment élaboré. Mais certains étudiants ne sont pas forcément capables de ça...  Je n'ai pas de réponse, mais on ne peut pas l'ignorer ».

L'universitaire se tourne vers le collectif pour essayer d'y répondre : « avec quelques collègues, nous nous sommes dits qu'il fallait qu'on se réunisse pour y réfléchir, tout en ne donnant pas de réponses à l'emporte-pièce ». Si les outils d'anti-plagiat et de détection d'utilisation sont évoqués, « c'est rentrer dans une course à l'armement », estime-t-il. Et il est difficile d'affirmer que les utilisateurs de chatGPT en seront les perdants.

Interrogé par Nature, le chercheur en informatique à l'université de Princeton, Arvind Narayanan, estime que même si c'est la fin des dissertations en tant qu'outil d'évaluation, ce n'est pas nécessairement une mauvaise chose. Pour lui, cet exercice permettait d'évaluer des compétences de rédaction et de connaissance qui doivent pouvoir être évaluées autrement et peut-être séparément.

En décembre, Antonio Casilli, enseignant-chercheur à Telecom Paris, proposait sur Twitter d'intégrer l'outil à l'enseignement, comme pour ce qui s'est passé avec Google, Wikipédia, Facebook et Zoom, qualifiant les réactions apeurées accompagnant ces nouveaux outils de « vagues de panique technologique ». Il propose de nouvelles épreuves de « cadavre exquis » ou de « prompt parfait ». Le prompt étant la ligne de commande, ici la question à poser à chatGPT, ce dernier exercice consisterait à formuler la question qui soit unique et donne lieu au résultat le plus original. Si le chatbot peut pousser les profs à réviser leur façon d'enseigner, il les met aussi dans une situation inconfortable où ils doivent la modifier rapidement, peut-être trop pour qu'ils aient le temps de bien adapter leurs cours et les épreuves de contrôle.

Vous n'avez pas encore de notification

Page d'accueil
Options d'affichage
Abonné
Actualités
Abonné
Des thèmes sont disponibles :
Thème de baseThème de baseThème sombreThème sombreThème yinyang clairThème yinyang clairThème yinyang sombreThème yinyang sombreThème orange mécanique clairThème orange mécanique clairThème orange mécanique sombreThème orange mécanique sombreThème rose clairThème rose clairThème rose sombreThème rose sombre

Vous n'êtes pas encore INpactien ?

Inscrivez-vous !