Le robot rédacteur d’Open AI ‘trop dangereux’ pour être rendu public

Des chercheurs de l’organisation non marchande Open AI ont créé un générateur de texte capable de produire notamment des fausses informations à grande échelle. Par crainte d’abus, ils ont décidé de ne pas libérer la totalité de son code.

OpenAI est une entreprise de recherche sur l’intelligence artificielle (AI) non marchande, créée par Elon Musk entre autres. Son but est de développer une AI amicale, capable d’aider l’humanité à aller de l’avant. Elle partage tout simplement ses résultats avec le reste du monde. A présent, qu’elle a exploité l’intelligence artificielle pour concevoir un générateur de texte, elle a cependant pris exceptionnellement la décision de ne pas le partager.

Sur base des mots qui s’y trouvent déjà, le générateur de texte prévoit chaque fois le terme qui suit. Le modèle AI sous-jacent, appelé GTP2, a été formé à partir d’un gisement de données de 8 millions de pages web (représentant en tout 40 giga-octets). De par sa taille, le robot rédacteur est devenu trop… bon, selon les chercheurs. Ils comparent ainsi le robot à un caméléon, qui imite le contenu et le style de n’importe quel texte saisi. Sur le blog d’Open AI, ils montrent plusieurs exemples. Si l’on saisit une phrase tirée du Seigneur des Anneaux (Lord of The Rings), le robot y capitalise dans un style ‘fantastique’. Si l’on part de l’introduction d’une actualité, il complète la suite de l’article, en y ajoutant même des citations inventées de toutes pièces. Et si l’on se base sur une fiction, comme la découverte d’une licorne, le générateur parvient sans problème à étoffer ce message factice.

La technologie ouvre la porte à l’abus

Selon les chercheurs, le générateur de texte peut être utilisé de manière positive, par exemple en tant qu’assistant d’un écrivain ou d’un traducteur, mais ils évoquent aussi ses dérives. C’est ainsi que la technologie peut être abusée pour propager à grande échelle des messages trompeurs, des pourriels (spam) ou encore pour créer une grande quantité de critiques à l’égard d’un produit.

Open AI se réfère aux vidéos trafiquées qui ont circulé l’année dernière sur le web, après que quelqu’un ait lancé un petit outil gratuit permettant de ‘swapper’ (échanger) assez aisément des visages dans des films. Le logiciel sous-jacent exploitait la bibliothèque AI publique TensorFlow de Google. Les vidéos trafiquées se retrouvaient surtout sur des sites web pornographiques, où les visages des actrices porno étaient remplacés par ceux de célébrités, mais la technologie peut tout aussi bien être utilisée pour concevoir de fausses déclarations de politiciens.

Comme le ‘traficotage de textes’ peut avoir un impact similaire, le code ne sera pas débloqué dans son ensemble. Open AI a cependant officialisé une version abrégée du modèle, ainsi qu’un rapport technique, pour permettre à d’autres chercheurs de travailler sur le sujet.

Ouverture d’un débat sur la publication au sein de la recherche AI

Les chercheurs d’Open AI ne sont pas les premiers à se poser la question de savoir s’ils doivent ou non publier les résultats de leur recherche AI, parce qu’ils pourraient générer des applications dangereuses. Des scientifiques de Stanford, qui avaient mis au point un système AI capable, sur base de photos, de prévoir la nature sexuelle de quelqu’un, s’étaient aussi demandés, s’ils pouvaient ou non le débloquer.

Les chercheurs d’Open AI signalent que s’ils ne le font pas, quelqu’un d’autre le fera tôt ou tard: “Nous sommes conscients que certains chercheurs possèdent la capacité technique de reproduire nos résultats.”

Ils souhaitent par conséquent susciter le débat sur la discrétion dans la recherche AI. “D’autres disciplines comme la biotechnologie et la cyber-sécurité ont précédemment déjà ouvert un débat à propos de publications justifiées ou non dans le cas où la technologie pourrait être abusée. Nous espérons que notre expérience servira de cas-témoin pour des débats plus nuancés au sujet de décisions de ce type au sein de la communauté AI.”