Des chercheurs de Microsoft ont mis au point une technologie d’apprentissage machine capable de générer des images au départ de textes écrits. Selon Microsoft, le logiciel pourrait à terme être utilisé comme assistant pour les peintres et les designers notamment.
‘Drawing bot’, telle est l’appellation simpliste que les chercheurs de Microsoft ont donnée à leur nouveau logiciel d’apprentissage machine. Sur base d’un texte écrit, le programme génère des images uniques. Il fonctionne selon un système que les chercheurs appellent le Generative Adversarial Network (GAN). Microsoft explicite la technologie dans un rapport.
GAN exploite deux modèles d’apprentissage machine collaboratifs. Le premier modèle génère des images sur base de textes, et l’autre juge la qualité des illustrations produites. Conjointement, les deux modèles créent pixel après pixel une image unique pertinente en combinaison avec le texte saisi. De plus, chaque nouveau résultat généré par le logiciel contribue à la qualité des images suivantes.
Assistant
Les chercheurs affirment dans le rapport que leur ‘drawing bot’ produit parfois des éléments supplémentaires non mentionnés explicitement dans le texte saisi. Microsoft cite ainsi l’exemple d’un oiseau jaune. Même si l’utilisateur n’entre pas explicitement dans la saisie du texte: “un oiseau jaune sur une branche”, il y a néanmoins de fortes chances pour que le ‘drawing bot’ génère l’image d’un oiseau jaune perché sur une branche. Nombre d’exemples d’illustrations jugés par le logiciel montreront en effet un oiseau sur une branche.
Selon Microsoft, le nouveau logiciel n’est pas encore entièrement au point, parce que des choses assez complexes qui sont présentées au ‘drawing bot’, ne fournissent pas toujours des images pertinentes. Il n’empêche que les chercheurs estiment que la technologie pourrait à terme être utilisée sous forme d’un logiciel d’assistance pour les peintres et les designers.
Précédemment, l’entreprise de Redmond avait développé une technologie baptisée ‘CaptionBot’. Celle-ci faisait précisément l’inverse: générer des textes pertinent sur base d’images.
