Data News Awards: l’AI a été l’artiste de service

Vu ou expérimenté aussi lors des Data News Awards? ML6 a présenté une configuration où vous pouviez sur base de quelques mots-clés faire dessiner ou peindre votre propre oeuvre par des réseaux neuraux et des algorithmes.

Désormais, l’intelligence artificielle s’invite également dans l’art. Et si la technologie en est encore à ses balbutiements, les perspectives semblent infinies. ” Nous sommes surtout limités par notre propre imagination. “

Ces dernières années, différents exemples d’utilisation de l’intelligence artificielle, de l’apprentissage machine et des algorithmes ont fleuri dans la peinture, la littérature et la musique. C’est ainsi qu’en 2016, Daddy’s Car a été le premier morceau composé par l’IA dans le style des Beatles. Cette même année, The Next Rembrandt était créé par l’IA en s’inspirant des oeuvres du peintre néerlandais.

Les outils favoris du collectif français Obvious ne sont pas le pinceau ou la couleur, mais des réseaux neuronaux et des algorithmes. En 2018, ces artistes ont produit une série de 11 portraits de membres d’une famille fictive. L’oeuvre ‘Edmond de Belamy’ a été adjugée aux enchères pour 432.000 $ chez Christie’s.

” Le recours à l’intelligence artificielle dans l’art est vaste, estime Lucas Desard, ingénieur en apprentissage machine chez ML6. L’entreprise gantoise propose à ses clients de la consultance stratégique et en gestion dans le domaine de l’intelligence artificielle, des données et de l’apprentissage machine. ” L’une des applications consiste à ‘améliorer’ l’art, par exemple en colorisant d’anciennes photos ou d’oeuvres en noir/blanc. Par ailleurs, il existe des algorithmes qui font des évaluations de profondeur et génèrent des sortes d’animations sur la base d’une carte de profondeur. Cela donne l’illusion que l’oeuvre a été créée en 3D. Dans un musée par exemple, il peut être intéressant d’animer des visages sur des photos ou des tableaux pour raconter une histoire. Dans le même temps, il est possible de concevoir des effets spéciaux, par exemple des ‘fausses profondeurs’. ”

Instructions sous forme de texte

Au-delà de l’amélioration de l’oeuvre, il est possible d’utiliser l’IA pour créer de l’art. Desard dégage deux tendances majeures qui n’ont aucun rapport l’une avec l’autre, mais qui convergent. La pre- mière est le modèle CLIP qui convertit du texte en une représentation mathématique et en images. ” Sur la base d’une instruction sous forme de texte ou ‘prompt’, une image est créée qui est conforme à ce qui est écrit. Le modèle apprend le type de texte qui correspond à l’image. ”

Pour comprendre ce mécanisme, le site de démo d’Open.Ai a récemment lancé Dall-E 2. ” Il s’agit d’un jeu amusant qui propose des images réalistes originales et de l’art au départ d’une description de texte “, précise Desard, qui se dit surpris des progrès enregistrés en peu de temps. Une autre application porte sur l’ajout ou la suppression d’éléments dans des images existantes sur la base d’une légende en langage naturel. Elle prend en compte les ombres, les réfléchissements et les textures. Et Desard d’illustrer son propos avec un corgi dans un musée. En fonction de la place qu’occupe le chien – que ce soit avec une peinture en arrière-plan ou sur le sol du musée – , le rendu est différent. En d’autres termes, le modèle sait si le corgi est une peinture ou un vrai chien. ”

Autre évolution, le modèle génératif qui combine deux algorithmes différents. Le premier apprend au départ d’un grand jeu de données, par exemple des photos d’orange, pour re- connaître le fruit, tandis que l’autre réseau génère une sortie dont le premier pense qu’il appartient vraiment au jeu de données de départ. Dès lors, du fait de cette interaction, de nouvelles images voient le jour qui sont des variantes du jeu de données existant. A titre d’exemple, Desard cite la peinture ‘Edmond de Belamy’ du collectif Obvious évoquée ci-dessus.

Tout le monde artiste?

” En entraînant un bon modèle génératif, l’algorithme comprend comment le monde se présente et génère des images, poursuit Lucas Desard. Cela crée souvent des oeuvres ayant un certain sens artistique. ” Il ne faut donc plus être un artiste pour réaliser une oeuvre admirable, mais pouvoir l’expliquer ou la traduire en mots. ” Le ‘prompt engineering’ est un art en soi, estime-t-il. Vous utilisez un éventail de termes qui sont appliquées sur l’Internet pour décrire des images de qualité. ”

Et si la technologie en est encore à ses balbutiements, les perspectives semblent infinies. ” Le modèle CLIP est révolutionnaire. Il va sans doute remettre en question le monde du design graphique. Certes, il s’agit pour l’instant surtout d’une source d’inspiration. Si un artiste ne sait pas trop bien par où commencer, il peut générer différents exemples. Ou peut-être copier et coller de petits éléments qu’il appliquera dans sa propre oeuvre. ”

Faut-il y voir une menace pour l’artiste tradi- tionnel s’il devient plus facile de créer une oeuvre en décrivant ce que l’on veut voir? ” A long terme sans doute, estime Desard. Un amateur aura plus de facilité à imaginer de l’art qualitatif ou des logos, des emballages, des annonces, des vêtements ou des jouets. Mais il faudra toujours l’intervention d’une personne. Le ‘prompt engineering’ est relativement complexe. Il faudra toujours des artistes. Mais je pense que l’approche sera légèrement différente. Au lieu de tout dessiner soi-même dans le détail, il sera par exemple possible de proposer à l’ordinateur une esquisse brute d’un oeil, à charge ensuite pour celui-ci de compléter les détails. ”

Limitations

Mais nous n’en sommes pas encore là. En effet, il faudra un certain temps encore avant de générer une image qualitative. ” En fonction de la puissance de l’ordinateur, il faut compter entre 5 minutes et 1 heure. Pour l’instant, les images hyperréalistes représentent encore une limitation. De même, il est difficile de garder la cohérence dans une même image. Parfois, ces modèles génèrent des représentations qui ont l’air réalistes si l’on se concentre sur des sections individuelles, alors que l’image complète peut donner à penser qu’il s’agit d’une représentation fausse. C’est ainsi que lors de la création d’un visage, l’oreille gauche et l’oreille droite sont de forme différente, tandis que les boucles d’oreille ne sont pas les mêmes. Ce sont des éléments sur lesquels ont peu de contrôle. ”

Desard s’attend certes à voir la qualité et la vitesse de traitement s’améliorer. Par ailleurs, la technologie sera plus abordable. ” Il est difficile de se projeter dans un futur lointain. Je pense que nous serons surtout limités par notre propre imagination. Si l’on parvient à être précis dans la description, tout ira bien. ”

Une autre difficulté consistera à commercialiser de tels projets artistiques, estime Lucas Desard. ” Il n’est pas facile de trouver des subsides pour ce type de projets. En général, les gens sont intéressés par le résultat final et pas forcément par l’outil ou l’application. La grande question est de savoir s’il existe une valeur commerciale pour l’intelligence artificielle dans l’art. ”

Halzheimer

Dans notre pays également, des artistes se laissent séduire par l’intelligence artificielle et les algorithmes. Ainsi, le Belge Frederik De Wilde a eu recours ces dernières années à des réseaux neuronaux et à l’intelligence artificielle. Dans Halzheimer (contraction de HAL 9000, l’ordinateur fictif de la série l’Odyssée de l’espace, et d’Alzheimer), des visages sont composés par des algorithmes. Le visage de l’oeuvre semble vieillir rapidement: des cernes apparaissent sous les yeux, des rides sur le visage et les cheveux deviennent plus fins. Les couleurs sont mélangées et les caractéristiques du visage s’estompent. ” Dans ce tableau, j’imite la dégradation de la mémoire et ses conséquences (visuelles). Peut-être l’homme et la machine ne sont-ils pas si différents? A la fin, l’oeuvre est une surface minimaliste, proche d’un Rothko. Cela initie des questions spéculatives: existe-t-il un vieillissement numérique? Tout doit-il être là pour toujours? ” Par ailleurs, dans ‘The face of your Voice’, De Wilde crée un visage au départ de courts extraits sonores. ” Parfois, il est surprenant de voir qu’il suffit de peu d’informations pour construire une image, précise l’artiste. Du coup, on peut se poser la question de savoir jusqu’où on peut aller dans le profilage au moyen de l’intelligence artificielle. Quand y a-t-il violation de la vie privée? ”

Valeur ajoutée

Pour De Wilde, l’IA est un outil qu’il intègre dans son processus artistique. ” Il ne faudrait pas croire que je me contente d’appuyer sur un bouton pour obtenir une oeuvre d’art. Je ne cherche pas à générer une belle image pour dire que c’est de l’art. Cela ne fonctionne pas comme cela. J’entends faire passer un message à l’homme et à la société. ” De Wilde ne considère pas que l’intelligence artificielle va remplacer tout et tout le monde, y compris l’art. Et il n’y voit pas davantage une menace, que ce soit aujourd’hui ou dans le futur. ” Ce sera plutôt à l’homme de décider puisqu’il entraîne les algorithmes. C’est à ce niveau que des biais peuvent apparaître. ”

Toujours selon De Wilde, l’IA n’est pas uniquement une technologie destinée à l’automatisation et aux tâches répétitives. ” Elle nous permet d’améliorer notre réalité et offre une valeur ajoutée. Pour ma part, j’intègre l’IA dans mes processus artistiques comme une sorte de co-auteur. L’IA est un processus sur lequel j’essaie d’intervenir en créant mes propres modèles ou en assemblant mes pro- pres données brutes. ”

Comme toute autre technologie, l’IA offre de nombreuses possibilités, mais a aussi ses limites. ” Sauf notre imagination. En exploitant cette technologie, je remarque que je n’aurais souvent pas exploré certaines pistes. L’IA m’incite à regarder autrement ou à faire autre chose. Là est l’essentiel. ”

Deepfake

La Belgique n’échappe pas au phénomène du deepfake. ” Chris Umé est en somme le pionnier dans cette matière, estime Lucas Desard. Il est à l’origine du deepfake de Tom Cruise. Dès le début, il est parvenu à appréhender tout le potentiel des deepfakes. ”

Pour sa part, ML6 a lancé un projet de deepfake dans le cadre d’un documentaire sur la prostitution à Amsterdam pour l’Evangelische Omroep (EO). ” Les auteurs voulaient anonymiser certains témoi- gnages sensibles. Comme nous utilisons le deepfake, il n’est pas nécessaire de flouter le visage ou de filmer une silhouette, ce qui évite de perdre l’impact émotionnel du message. ” De même, ML6 a réalisé un projet à l’occasion des Data News Awards 2022. ” Au cours de l’événement du 2 juin, les invités pouvaient choisir l’oeuvre d’art qui leur plaisait le plus et se deepfaker eux-mêmes dans l’oeuvre. ”

Les deepfakes traduisent par ailleurs la dimension éthique de la technologie. C’est ainsi que l’on a vu récemment une vidéo deepfake du président ukrainien Zelensky incitant les habitants à déposer les armes face à la Russie. ” La technologie peut aussi être utilisée à des fins moins nobles, conclut Desard. On ne peut plus croire ce que l’on voit. C’était déjà le cas avec les photos retravaillées en Photoshop et c’est désormais le cas avec les vidéos. Nous allons connaître la même transition. ”