‘La dernière chose que nous voudrions est un système automatique qui décide de la vie d’une personne’

A l’occasion du récent événement She Goes ICT, Data News avait eu la main particulièrement heureuse en invitant comme orateur Rumman Chowdhury, directeur général et responsable Global Lead pour l’intelligence artificielle chez Accenture. Data News s’est entretenu avec elle sur les stratégies de recrutement, l’éthique et le déploiement à l’échelle mondiale de l’IA.

De formation, Rumman Chowdhury est diplômée en sciences sociales quantitatives, ce qui signifie qu’elle analyse les algorithmes et données non seulement sur leur valeur économique, mais aussi les aspects humains et éthiques. ” Si nous parlons d’IA, nous partons souvent du point de vue que l’on doit s’adapter à la technologie, mais à mon avis, l’IA doit plutôt nous venir en aide. C’est à l’individu de prendre le pouvoir. Pour l’instant, nous suivons encore un peu trop la technologie. ”

Lorsqu’il est question d’éthique et d’IA, beaucoup de gens croient par exemple que les robots vont prendre nos emplois ou, pire encore, ils imaginent des robots tueurs. Cette crainte est-elle fondée ?

RUMMAN CHOWDHURY : Que non ! Une très large part de nos opinions sur cette technologie est influencée par les médias ainsi que par les films et les livres. Il s’agit en général de récits de type HAL, de Terminator, etc. Mais le vrai visage de l’intelligence artificielle est tout autre. Celui-ci est pourtant beaucoup plus difficile à appréhender car il n’a pas de forme physique alors que nous voudrions quelque chose de tangible ou de visible.

Pourquoi les hommes apprécient-ils tant les ‘chatbots’ ? Car ils nous proposent une forme de communication avec la technologie IA. Un robot conversationnel n’est pourtant guère plus qu’une interface, alors que l’IA proprement dite est le code qui tourne dans le cloud. Mais lorsqu’un concept est trop difficile à comprendre pour nous, nous imaginons des objets physiques, alors que le coeur de l’IA est précisément de ne pas revêtir de formes physiques. Tout est dans le cloud et est accessible partout dans le monde, par exemple via un smartphone. L’une des raisons pour lesquelles nous craignons l’IA est qu’il est difficile de s’imaginer ce qu’elle représente.

Serait-ce également dû aux ‘big data’ ? L’idée que de très grandes quantités de données sont collectées dont on ne sait pas vraiment à quoi elles vont servir.

CHOWDHURY : Les gens se font une certaine idée de notre relation aux données, à la technologie et à la manière dont les entreprises vont les exploiter. Mais nous estimons souvent qu’une donnée est une transaction. Très linéaire. Supposez que vous vouliez 10% de réduction sur un site de vente de vêtements : vous donnez votre adresse de courriel, vous recevrez sans doute du ‘spam’, mais vous aurez au moins votre ristourne. Mais en réalité, les choses fonctionnent différemment. Lorsque l’on dit que la donnée est le nouvel or noir, on part de cette expérience linéaire – je vous donne mon adresse électronique et vous me spammez – pour aller plus loin – j’utilise vos données GPS pour voir si vous êtes en bonne santé. Et comment cela fonctionne-t-il : je sais où vous allez déjeuner, quand et si l’un des arrêts sur le trajet vers votre domicile est une salle de sports, ainsi que si vous venez au bureau en voiture ou à pied, etc. J’aime comparer la donnée à un tableau périodique où l’on utilise des données brutes pour les combiner à l’infini.

Bien d’autres exemples viennent à l’esprit. C’est ainsi qu’aux Etats-Unis, vous avez un service ADN 23andme qui collabore avec la police pour identifier des criminels. De même, on peut demander chez Spotify des ‘playslists’ déterminées génétiquement. Ce qui est certes un peu bizarre. Il s’agit là d’autant de domaines encore inexplorés et qui font l’objet d’expériences multiples. Souvent, on ne pense d’ailleurs pas aux conséquences possibles. C’est précisément mon travail que de réfléchir à ces conséquences.

L’un des problèmes que nous avons d’ores et déjà constaté est le ‘biais’, à savoir des données partiales. La sensibilisation à cette question grandit-elle ?

CHOWDHURY : Le biais est certes un problème, mais il existe 2 sortes de biais. Le premier est le biais quantifiable qui est inhérent aux données. Il s’agit d’ailleurs du biais qu’évoquent les scientifiques des données. Ce sont des mesures. Si j’envoie un questionnaire et que, pour une raison quelconque, le lien ne fonctionne pas pour une personne dont le numéro de téléphone se termine par 9, il s’agit d’un biais systématique. C’est un domaine sur lequel se penchent les scientifiques.

Mais il existe un autre biais, social. Et c’est là qu’il faut s’inquiéter. Car celui-ci est beaucoup plus difficile à calculer. Parfois, les données donnent simplement un résultat trompeur. Songez aux Américains noirs qui sont en pourcentage beaucoup plus nombreux dans les prisons que les Américains blancs. C’est souvent une question de racisme. Il est impossible de prévoir un système et faire comme si les données étaient parfaites.

En fait, il faudrait créer une passerelle entre les scientifiques et les personnes non quantitatives afin de prendre en compte les deux aspects. Les scientifiques des données analysent les données et s’efforcent de veiller à ce que les noms, adresses, etc. soient correctes, mais ne s’intéressent pas aux problèmes sociaux fondamentaux qu’engendrent ces données. C’est difficilement mesurable, mais l’on sait d’emblée qu’il y aura des erreurs dans un tel système. Et comment s’assurer que le système est honnête ? Dans certains cas, la réponse est : il faudrait interdire de construire un tel système. Si l’on construit au-dessus d’une structure communautaire ou sociale qui pose un problème fondamental, je ne vois pas comment il serait possible d’imaginer un système automatique.

Que pouvez-vous dès lors faire ?

CHOWDHURY : Il vaut mieux alors concevoir votre IA sous la forme d’interventions à différents stades d’un processus. Et si nous ne pouvons sans doute pas utiliser l’IA pour décider ou envoyer quelqu’un en prison, il existe néanmoins des applications potentielles, par exemple pour voir si quelqu’un peut être libéré anticipativement ou s’il y a un risque que cette personne s’évade, etc. De telles solutions sont déjà utilisées et sont souvent sujettes à controverse, mais il est possible de les mettre en oeuvre dans le cadre d’un processus qui ne serait pas totalement automatisé. C’est probablement la dernière chose que nous voudrions, à savoir un système automatique qui décide de la vie d’une personne.

L’un des problèmes est évidemment que les données sont ce qu’elles sont. Les scientifiques se considèrent en général comme neutres. Si Google traduit une phrase comme ‘Elle est infirmière, il est médecin’, cette traduction est basée sur le monde tel qu’il se présente en général. Appartient-il à une entreprise de changer les choses et de rectifier une telle situation ?

CHOWDHURY : Commençons par dire qu’il n’y a pas d’acteur neutre. Si je n’entreprends aucune action, c’est que je suis d’accord avec le statu quo. A moins d’imaginer que l’on vit dans un monde parfaitement honnête, on doit donc être d’accord avec l’idée d’une forme de malhonnêteté. Pas question de faire comme si nous étions les bons en ne faisant rien. Vous défendez la situation établie, laquelle n’est pas toujours honnête.

Google n’est d’ailleurs pas la seule à rencontrer ce problème. Ainsi, Netflix et Facebook ont déjà procédé à des adaptations, à la demande des autorités publiques. ” Nous respectons la législation à la lettre “, affirment-ils alors. Mais certains pays ont aussi des lois qui autorisent de tuer un homosexuel. Nous ne pouvons pas faire comme si nos actes n’avaient aucune conséquence. Vous fuyez alors vos responsabilités en tant qu’entreprise respectueuse.

S’ajoute le fait que des entreprises comme Google veulent avoir un impact. Le département IA For Social Good de l’entreprise entend réellement rendre le monde meilleur grâce à la technologie. Sans se limiter à l’entité de responsabilité sociale de l’entreprise. Il faudrait que l’ensemble de l’entreprise retrouve de telles valeurs. Si l’on analyse l’éthique des entreprises, force est de constater qu’on ne la retrouve guère dans les entités internes. Même des sociétés comme Google, qui comptent pourtant de très nombreux éthiciens, confient l’éthique à la recherche ou à un département spécifique comme IA for Social Good, qui sont des endroits sûrs. Dans de telles entités, un éthicien ne va pas imposer à l’entreprise de prendre des décisions qui pourraient être moins rentables à court terme. Même si à long terme, une telle approche serait meilleure pour l’entreprise, du moins à mon avis.

En quoi consiste une approche commerciale éthique pour une entreprise ?

CHOWDHURY : L’éthique est basée sur les normes culturelles et sociales, et celles-ci varient de pays à pays. Il ne nous appartient pas, avec nos normes occidentales, d’imposer une éthique à d’autres. Un exemple : en Occident, et surtout dans l’UE, nous attachons beaucoup d’importance à la vie privée et nous estimons qu’il s’agit d’une donnée universelle. Mais dans les pays très patriarcaux par exemple, cette notion est parfois utilisée pour faire pression. Dans de tels pays, l’accès libre à quelque chose comme Instagram notamment est une forme de rébellion. Ou de protestation. Et s’ils appliquent des règles strictes en matière de vie privée, l’homme pourrait utiliser le droit à la vie privée de sa femme pour faire en sorte qu’elle ne puisse pas se connecter en ligne. C’était l’un des problèmes rencontrés par l’appli Abshar. La vie privée est alors une forme de restriction, alors qu’elle est en général une protection.

Notre objectif global avec l’IA est de montrer aux pays, aux entreprises et aux individus la manière dont ils peuvent, et doivent, intégrer leurs valeurs et priorités dans la technologie qu’ils bâtissent. Quelles que soient ces valeurs. Lorsque je discute avec un client, je ne dis jamais ‘vous devez faire ces 5 choses pour construire un système éthique’. Je propose le cadre mis au point chez Accenture et notre vision des choses pour permettre à l’entreprise de réfléchir à la manière de procéder. Chaque entreprise a ses valeurs de référence, reprises en général dans un ‘mission statement’, et leur technologie doit les refléter de manière très directe. Si vous estimez en tant qu’entreprise que la diversité est importante, vous devez analyser chaque algorithme pour voir s’il est honnête. Il s’agit là certes d’un passage obligé, mais si vous affirmez que la diversité est prioritaire, vous vous devez de prendre des mesures, sachant que les entreprises sont toujours plus tenues de justifier leurs actes.

Constatez-vous une demande croissante pour des règles en matière d’utilisation responsable de l’IA et de la technologie ?

CHOWDHURY : Différentes parties du monde s’orientent désormais vers une utilisation responsable de l’IA. Et elles suivent souvent le même chemin. Cela commence par tous ceux qui s’inquiètent de l’emploi et des robots tueurs, car il s’agit d’une évolution que nous connaissons historiquement. Par la suite, on s’intéresse à la vie privée, l’honnêteté, le sens de la justice, la responsabilité, la transparence, etc. Viennent ensuite les normes culturelles. C’est ainsi que la vie privée est plus importante en Europe qu’aux Etats-Unis. Tandis que les discussions sur les biais algorithmiques sont plus virulentes outre-Atlantique. Dans l’UE, on parle moins de discrimination, sinon de discrimination sur le genre. Lorsqu’il est question de discrimination raciale, c’est surtout aux Etats-Unis. Ce pays est beaucoup plus concerné sur les plans culturel et historique. Ce type de discussions est l’expression des combats que nous avons menés et que nous menons encore.

Je suis par ailleurs curieuse de voir comment la situation va évoluer en Inde. Ce pays a un fort système de castes, même si celui-ci a été officiellement aboli. Il y a toujours une sorte de hiérarchie culturelle. Or l’Inde entend s’informatiser en profondeur. Le pays se tourne vers les monnaies numériques et veut stocker les données biométriques de ses habitants dans le système Adhar notamment. Mais comment faire alors qu’une partie de la population est intouchable au sens littéral qu’on ne peut pas les toucher car elles sont considérées comme impurs ? Car c’est ainsi qu’est encore perçue cette caste inférieure. De nombreuses technologies ont un effet égalisateur et sont précisément conçues pour ne pas être hiérarchiques. Si j’utilise un système de données biométriques, je pars du principe que tout le monde a le même accès à la technologie, mais nous savons que ce n’est pas ainsi que la société fonctionne. Dès lors, comment réconcilier ces différentes structures ? Voilà qui sera intéressant à voir.

Dans vos fonctions, travaillez-vous sur la diversité lors des recrutements ? Comment abordez-vous cette question ?

CHOWDHURY : Chez Accenture, nous voulons avoir la moitié d’hommes et la moitié de femmes d’ici 2025. En outre, l’objectif est que ces femmes ne soient pas uniquement des juniors, alors que la direction resterait toujours masculine.

Nous travaillons pour ce faire avec les ressources humaines en utilisant l’IA à différents niveaux. Nous commençons par exemple par le ‘sourcing’, la recherche de candidats. Si l’on ne s’inquiète pas des problèmes de biais ou si l’on prend les choses comme elles viennent, ou encore si on décide de faire du 50-50 et que l’on impose ce principe, il n’est absolument plus possible par la suite de changer les choses. C’est là que se situe en général le problème. Car l’éthique n’est abordée qu’à la fin. Elle n’est pas prise en compte lors de la première sélection. Mais quelqu’un fait remarquer au final : ‘Nous avons maintenant ces candidats et je voudrais utiliser un algorithme pour voir s’ils conviennent. Venez m’aider, cher éthicien.’ Mais toutes les décisions ont déjà été prises et le rayon d’action est très limité. Si vous me donnez les 5 femmes que vous avez trouvées et que vous me demandez de voir que cela fonctionne, c’est déjà votre problème.

On entend souvent dire qu’il y a un problème de réservoir : il y a trop peu de femmes avec un diplôme d’ingénieure en informatique par exemple.

CHOWDHURY : C’est un problème de réseau, pas de réservoir. Souvent, c’est une question de savoir qui vous demandez et quelles sont vos priorités. Quelque chose comme la formation est un signal, mais un faux signal. Vous partez du principe qu’une personne qui a tel diplôme possède les compétences requises, mais il s’agit en général de l’illustration d’un privilège. Et peut-être cela fonctionnait-il autrefois, lorsqu’en dehors de ce papier, on n’avait que peu d’informations sur les candidats. Mais entre-temps, il y a tant d’autres façons de vérifier les qualités et les compétences d’une personne. Pourquoi continuer à se fier à cette notion dépassée de diplôme ? Et je dis cela alors que j’ai été dans une bonne université. Pas que je sois simplement révoltée ou quoi d’autre. Il faut avoir de la chance ou être né dans la bonne famille pour s’inscrire dans une université de renom dans certains pays.

Et il ne faudrait pas croire que les personnes engagées sur base d’un tel diplôme sont particulièrement performantes dans leur tâche. La plupart des candidats recrutés dans les grandes entreprises suivent une formation de 6 mois à un an. Si vous donnez une formation d’un an à une personne issue d’une minorité, celle-ci sera aussi capable. C’est un mythe que de croire qu’un candidat ayant les compétences requises brillera d’emblée dans votre entreprise. On oublie trop souvent le nombre de formations données à l’engagement.

Comment faire dans la pratique ?

CHOWDHURY : En interne, nous déployons l’IA dans notre département HR, notamment au niveau du ‘sourcing’ pour rendre neutres les recommandations en matière d’emploi. Accenture est unique en ce sens qu’elle compte un effectif particulièrement mouvant. Nos collaborateurs sont envoyés sur des projets, qui reviennent et repartent vers le suivant. Chaque jour, nous mettons en relation des personnes avec des missions et des prospects, et il est donc important de tout contrôler et de s’assurer du projet sur lequel tel collaborateur travaille et qu’il lui corresponde.

Nous planchons donc sur différentes interventions à ce niveau. Nous avons par exemple un algorithme qui vérifie que les descriptions de fonction soient neutres au niveau des termes. Pour nous, la difficulté est également de maintenir cette diversité à l’échelle mondiale, car ce qui est une minorité à un endroit ne l’est pas forcément ailleurs. C’est ainsi qu’aux Etats-Unis, on considère les Noirs et les hispaniques comme des minorités, alors qu’à Singapore, on fait une différence entre les différents types d’asiatiques. De même, nous ne pensons pas aux personnes d’origine indonésienne ou malaisienne comme sous-catégories à prendre en compte si nous développons un algorithme pour la Grande-Bretagne puisque cet aspect est peu important. Mais cet élément est en revanche important à Singapore ou en Inde. Les nuances sont multiples et on se rend compte que l’on ne pourra pas se contenter de critères algorithmiques et qu’il faudra l’intervention d’un humain. Si vous voulez savoir si tel candidat sera un bon collaborateur, il vous faudra rechercher des éléments qui ne sont pas faciles à décrire ou mesurer. La culture d’entreprise, la résilience, le sens critique, les capacités d’apprentissage, autant d’éléments pour lesquels il n’existe pas de chiffres magiques. Nous devons donc construire des ‘frameworks’ et examiner la manière de les utiliser au mieux sans induire des préjugés.