ChatGPT dans les mémoires de recherche : étude de la fidélité, la validité et la pertinence des textes générés

Résumé

La présente étude évalue la qualité des informations générées par chatGPT, un outil d’IA souvent utilisé par les étudiants lors de la réalisation de leurs mémoires de recherche. Cette évaluation est axée sur trois critères, cités dans la littérature scientifique consultée : la fidélité (crédibilité de la source et celle des auteurs) ; la validité (représentativité des échantillons, robustesse des méthodes, exactitude des données et objectivité des auteurs) ; ainsi que la pertinence (utilité des informations générées). En vue d’obtenir des données suffisamment pertinentes sur la qualité des informations générées par l’outil étudié, la triangulation des méthodes s’impose. Trois méthodes sont en effet exploitées : l’analyse du contenu, la comparaison des données et l’enquête par questionnaire. L’analyse des mémoires générés par chatGPT à partir de sujets inédits, et la comparaison des mémoires réalisés par des étudiants à ceux générés par chatGPT ont révélé que les informations générées présentent des problèmes de fiabilité, de fidélité et de pertinence ; d’où la nécessité de les vérifier en recourant à des références plus fiables. Ces limites, les étudiants interrogés en sont conscients. Leurs réponses au questionnaire électronique, qui leur était soumis, ont révélé des représentations positives de chatGPT : mais ont trahi une certaine conscience de ses limites. Il incombe de ce fait aux enseignants de les sensibiliser aux risques du recours aveugle à cet outil, qui peut générer des réponses entièrement erronées. Ce recours irréfléchi se justifie par leur l’incompétence informationnelle de certains étudiants ; qui les contraint à exploiter les textes générés sans en vérifier la correction ou l’adaptation au contexte.