Les logiciels de détection de ChatGPT peuvent être facilement trompés

Une bonne nouvelle pour les étudiants: les outils de détection de ChatGPT permettant par exemple aux professeurs et enseignants de savoir si un texte a été écrit avec ChatGPT, peuvent être facilement contournés. Il suffit souvent de rendre un peu ‘plus littéraires’ les textes générés par le modèle linguistique GPT-3.

Les étudiants ou élèves qui entament si tardivement leur rapport ou critique de livre que ChatGPT leur semble être la seule option possible, peuvent à présent reprendre leur souffle. Peu après que le chatbot lié au modèle linguistique sophistiqué d’OpenAI ait été rendu public, on vit apparaître aussi des outils de détection permettant de savoir si un texte spécifique était rédigé par une machine plutôt que par un humain. Or ces outils de détection semblent à présent loin d’être étanches, comme il ressort d’une étude de l’université californienne de Stanford.

Langage littéraire

Dans le cadre d’une expérience, des chercheurs de Stanford ont demandé à ChatGPT de rédiger une série de dissertations selon les normes d’écriture imposées aux élèves américains en 2022 et 2023 pour être admis dans une université. Ils les soumirent ensuite à sept détecteurs de GPT, dont un outil de détection de plagiats qu’OpenAI avait elle-même lancé plus tôt cette année, et le GPTZero utilisé par de nombreux enseignants. Dans septante pour cent des cas, les détecteurs ont découvert que les textes avaient été rédigés par OpenAI. Mais lorsqu’ils firent écrire les mêmes textes factices dans un ‘langage plus littéraire’, comme ils le demandèrent dans leur invite ChatGPT, il apparut que le détecteur de plagiats effectuait nettement moins bien son travail: en fait, les sept détecteurs signalèrent que 3,3 pour cent seulement des textes avaient été rédigés par une machine.

Les non-anglophones lésés

Dans une autre expérience, les chercheurs de Stanford soumirent aux sept détecteurs quelque deux cents textes effectivement remis par des étudiants humains et découverts en ligne. Sur 88 rédactions d’élèves de l’enseignement moyen américain, seules quatre ont été signalées comme ayant été rédigées avec ChatGPT. Mais sur 91 rédactions que des élèves chinois devaient remettre dans le cadre d’un test standardisé de leur connaissance de l’anglais, et qui furent également soumises aux sept outils de détection, pas moins de 18 déclenchèrent une alarme chez ces derniers. Un texte en anglais rédigé par un allochtone court donc un risque sensiblement plus élevé d’être identifié comme écrit par une machine, même si ce n’est pas le cas.

Perplexité du texte

En examinant de près les dix-huit rédactions soumises, les chercheurs découvrirent aussi de quoi il retournait: plus faible est la ‘perplexité du texte’ (à savoir son imprévisibilité en raison d’une plus grande alternance de mots), plus il y a de chances qu’un texte soit signalé par les outils de détection comme étant écrit par l’intelligence artificielle. Quiconque convertit un texte écrit par l’IA en le rendant un peu plus circonstancié et ‘littéraire’, réduit donc substantiellement le risque de se faire prendre. Mais cela aussi peut tout simplement être demandé à ChatGPT.