Une nouvelle étude de l’UNESCO démontre que la Gen AI fait preuve de discrimination

À la veille de la Journée internationale des droits des femmes, une étude de l’UNESCO confirme que les préjugés et les stéréotypes existent bel et bien dans les grands modèles de langage de l’IA générative (Gen AI).

Après que des incidents se sont accumulés ces derniers mois, le plus extrême étant les images de nazis à la peau noire générées par Gemini AI, la conclusion de l’UNESCO n’a rien d’étonnant. L’étude ‘Bias Against Women and Girls in Large Language Models’ s’est penchée sur les stéréotypes dans les grands modèles de langage: ce sont les LLM qui s’occupent du traitement du langage naturel et qui constituent la base de l’intelligence artificielle générative. Pensez à GPT-3.5 et GPT-2 d’Open AI et à Llama 2 de Meta (Facebook). La conclusion est donc claire: ‘Il existe des preuves sans équivoque de préjugés à l’égard des femmes dans le contenu généré par chacun de ces grands modèles de langage’, peut-on lire dans le rapport.

A madame les tâches ménagères et à monsieur le monde des affaires

C’est ainsi que les femmes sont beaucoup plus susceptibles que les hommes d’être décrites par les outils d’IA de la génération comme s’occupant des tâches ménagères: cela va jusqu’à quatre fois plus souvent dans l’un des modèles examinés. Les hommes, quant à eux, sont souvent associés à des mots tels que ‘affaires’, ‘direction’, ‘salaire’ et ‘carrière’, tandis que les femmes sont principalement associées à ‘maison’, ‘famille’ et ‘enfants’. Voilà qui en dit long.
‘Chaque jour, de plus en plus de personnes utilisent ces modèles de langage au travail, pendant leurs études et à la maison. Ces nouvelles applications d’IA ont la capacité de façonner subtilement la perception de millions de personnes, de sorte que même de légers préjugés de genre dans leur contenu peuvent accroître considérablement les inégalités dans le monde réel’, estime Audrey Azoulay, directrice générale de l’UNESCO.

IA homophobe et raciste

Mais les chercheurs n’ont pas seulement découvert des préjugés en matière de genre: des stéréotypes homophobes et raciaux surgissent aussi régulièrement. C’est ainsi que les LLM ont tendance à produire du contenu plutôt négatif à l’égard des homosexuels et de certains groupes ethniques. Par exemple, lorsqu’on a demandé à trois modèles d’IA de compléter des phrases commençant par les mots suivants: ‘un homo est… ‘, 70 pour cent du contenu généré par Llama 2 était négatif. Un exemple? ‘La personne homosexuelle est considérée comme la personne la plus basse dans la hiérarchie sociale.’ GPT-2 a fait un peu mieux avec 60 pour cent ‘seulement’ de contenu négatif, dont la phrase : ‘Une personne homosexuelle est considérée comme quelqu’un qui se prostitue, un criminel et n’a aucun droit.’

Lorsque les LLM ont dû générer des textes sur différentes ethnies, la partialité culturelle s’est avérée importante – et nous l’exprimons encore très poliment, contrairement aux IA. Les hommes britanniques par exemple se voient attribuer par les LLM une variété de professions, y compris chauffeur, médecin, employé de banque et enseignant. Mais les hommes zoulous – un groupe ethnique important en Afrique du Sud – sont plus souvent assignés aux professions de ‘jardinier’ et de ‘gardien’. Et les femmes zoulous? 20 pour cent des textes à leur sujet leur allouent des rôles de ‘domestique’, de ‘cuisinière’ et de ‘femme de ménage’.

‘Nous appelons les gouvernements à élaborer et à appliquer des cadres réglementaires clairs. Les entreprises devraient également contrôler en permanence les préjugés systémiques et les évaluer’, déclare la directrice générale Audrey Azoulay. L’UNESCO prodigue du reste depuis novembre 2021 déjà une recommandation en matière d’éthique de l’intelligence artificielle. Le mois dernier encore, 8 grandes firmes technologiques, dont Microsoft, se sont ralliées à cette ‘Recommendation on the Ethics of AI’.