Les données ne sont pas objectives et la technologie n'est jamais neutre

Ces dernières semaines, on a pu voir en action l'une des plus belles caractéristiques humaines: transformer quelque chose de terriblement désolant en quelque chose d'incroyablement fort. La mort de George Floyd a réveillé non seulement le débat sur le racisme aux États-Unis, mais a fait aussi en sorte que la discrimination - latente ou moins latente - soit passée à la loupe dans le monde entier. Même en 2020, il est toujours aussi malaisé de se débarrasser de certains préjugés.

L'un des moyens de plus en plus souvent utilisés pour améliorer la prise de décisions et corriger des préjugés humains est l'Intelligence Artificielle (IA). Ces systèmes intelligents seraient capables de produire des résultats plus objectifs notamment dans des domaines sensibles tels que le recrutement, le marché locatif ou les enquêtes de police... car ils seraient libres de nos préjugés humains typiques. Les systèmes IA ne tireraient aucun avantage particulier en discriminant des gens en fonction de leur origine ou de leur genre et de plus ne se baseraient que sur des données objectives.

Cette image est cependant trompeuse. Les données ne sont pas objectives et la technologie n'est jamais neutre. La façon dont les données sont collectées et présentées, ainsi que la manière dont les machines sont développées et utilisées, reflètent à coup sûr des valeurs particulières, qui peuvent également être discriminatoires. La prise de conscience croissante de l'existence de ces biais a conduit trois acteurs en vue dans le domaine des logiciels de reconnaissance faciale - IBM, Amazon et Microsoft - à annoncer la semaine dernière la mise en place de limites à l'utilisation de leur technologie par la police.

Comment un logiciel de reconnaissance faciale peut-il induire de la discrimination ?

Le problème est que les bases de données le plus souvent utilisées contiennent surtout des photos de personnes de race blanche et essentiellement des hommes.

Les logiciels de reconnaissance faciale se sont sensiblement améliorés ces dernières années, surtout grâce aux succès enregistrés par l'apprentissage automatique (en anglais : machine learning), une application IA spécifique, où la machine est nourrie avec de grandes quantités de données et élabore sur cette base un modèle mathématique. Ce modèle servira à effectuer des prévisions ou à prendre des décisions, lorsque la machine sera confrontée à de nouvelles données.

Le développement de logiciels de reconnaissance faciale nécessite l'utilisation de bases de données contenant des exemples de visages. Le problème est que la plupart de ces bases de données (dont les contenus sont surtout trouvés dans les médias ou en ligne) contiennent le plus souvent des photos de personnes de race blanche et essentiellement des hommes. La machine élabore ainsi un modèle qui n'est basé que sur un sous-ensemble de la société et apprend moins bien à identifier les visages de femmes ou de personnes de couleur.

Le fait que certains groupes connaissent ainsi plus de problèmes à taguer des amis sur les médias sociaux, semble peut-être une "petite injustice", mais ce n'est là que le sommet de l'iceberg. Ce genre de logiciel est en effet utilisé pour des tas d'applications, pas uniquement dans le privé, mais aussi dans le secteur public, comme par exemple la détection de criminels par la police. Si cette technologie se trompe systématiquement dans l'identification de certaines personnes, cela peut engendrer des injustices.

En outre, ceux qui sont généralement lésés par les systèmes IA, sont souvent aussi ceux qui sont déjà plus vulnérables, ce qui ne fait que renforcer la discrimination existante.

D'autres droits fondamentaux sont aussi en jeu

Je suis consciente quand on vérifie mon empreinte digitale, mais je ne sais pas toujours si une caméra est présente et si elle est connectée à un logiciel de reconnaissance faciale.

Il n'y a du reste pas que le droit à la non-discrimination, mais aussi d'autres droits fondamentaux qui sont menacés. Le logiciel de reconnaissance faciale est très invasif sur le plan du respect de la vie privée, étant donné qu'il facilite nettement l'identification de personnes et peut amplifier sensiblement le risque de surveillance (de masse) et ce, tant dans des environnements privés (par exemple au travail) que dans l'espace public (par exemple en rue).

L'identification d'une personne peut se faire sans son autorisation ou même à son insu. Je suis consciente quand on vérifie mon empreinte digitale, mais je ne sais pas toujours si une caméra est présente et si elle est connectée à un logiciel de reconnaissance faciale. De même, quand je suis informée via un panneau explicite que je suis filmée et que mon visage est identifié (ce qui est en principe la norme en Europe en vertu du RGPD), cela peut créer des tensions. Par exemple, si je décide de faire demi-tour après avoir vu ce genre de panneau, je pourrais passer pour suspecte, ce qui restreint indirectement ma liberté.

En Europe, le RGPD a créé un cadre général stipulant les conditions dans lesquelles les données personnelles peuvent être traitées. Une directive semblable a été élaborée pour le traitement de ce genre de données dans un contexte policier. Ce cadre est toutefois abstrait sur de nombreux points, ce qui fait que les pays membres de l'UE interprètent parfois les règles de différentes manières, surtout quant à la nécessité et la proportionnalité de la technologie employée pour atteindre le but fixé.

La Belgique peut saisir cette opportunité pour émettre un signal fort

Ces questions sont cruciales dans notre pays aussi. C'est ainsi que le service de sécurité belge a été pointé du doigt il y a quelques mois, parce qu'il aurait utilisé le logiciel de reconnaissance faciale de l'entreprise américaine controversée "Clearview AI". La police caresserait encore l'idée d'introduire à nouveau un logiciel de reconnaissance faciale par exemple à l'aéroport, à condition qu'une base légale le permette.

La Belgique pourrait opter pour un moratoire temporaire sur certaines applications du logiciel de reconnaissance faciale.

La Commission européenne examine actuellement l'opportunité d'introduire une réglementation pour l'Intelligence Artificielle et, si tel est le cas, comment elle devrait se présenter. La Belgique ne doit cependant pas attendre l'Europe. Le débat sur la discrimination nouvellement stimulé peut être une excellente opportunité pour la Belgique d'émettre un signal fort pour que ce problème soit pris au sérieux.

Ainsi, la Belgique pourrait opter pour un moratoire temporaire sur certaines applications du logiciel de reconnaissance faciale, jusqu'à ce qu'un cadre réglementaire plus spécifique soit élaboré, afin de garantir que son utilisation soit éthique et respecte les droits fondamentaux.

Un large débat pourrait aussi être mené sur les caractéristiques minimales que ce genre de technologie doit satisfaire pour être acquise et utilisée par le gouvernement ou pour des applications privées sensibles, par exemple un niveau de précision équivalent pour différents groupes de populations.

'Et-et' au lieu de 'ou-ou' : à nous de choisir

Surtout lorsque des décisions importantes sont déléguées à des systèmes IA, c'est notre devoir de forcer la responsabilité à ces systèmes.

La technologie peut offrir une solution à bien des problèmes, mais si son développement et son utilisation n'incorporent pas nos valeurs fondamentales, elle ne sera qu'une source d'autres problèmes. Et cela ne vaut pas uniquement pour les logiciels de reconnaissance faciale, mais aussi pour quasiment toutes les applications technologiques.

Le débat se réduit souvent injustement à un choix manichéen. Dans le cas de la reconnaissance faciale, la sécurité serait opposée au respect de la vie privée, et dans celui de l'application anti-corona, le respect de la vie privée à la santé. Ces oppositions sont trompeuses, car il existe des solutions 'et-et' plutôt que 'ou-ou'.

La Belgique compte suffisamment de chercheurs talentueux, capables de développer sur une base multidisciplinaire de la technologie améliorant la vie de tout un chacun, plutôt que d'un groupe privilégié. Surtout lorsque des décisions importantes sont déléguées à des systèmes IA, c'est notre devoir d'assurer que la responsabilité pour ces systèmes soit assumée.

Cela exige une profonde réflexion sur l'impact éthique, juridique, social et économique de la technologie avant qu'elle ne soit déployée dans la société. La question n'est pas de savoir s'il faut y incorporer des valeurs - on ne peut y échapper -, mais bien lesquelles.

Des droits comme le respect de la vie privée et la non-discrimination doivent être pris en considération depuis la phase de conception du système, si on veut réaliser la solution 'et-et'. Et quand cela s'avère impossible, n'oublions pas que ce n'est pas parce nous pouvons développer une certaine technologie que nous devons absolument le faire. A nous de choisir.

Ces dernières semaines, on a pu voir en action l'une des plus belles caractéristiques humaines: transformer quelque chose de terriblement désolant en quelque chose d'incroyablement fort. La mort de George Floyd a réveillé non seulement le débat sur le racisme aux États-Unis, mais a fait aussi en sorte que la discrimination - latente ou moins latente - soit passée à la loupe dans le monde entier. Même en 2020, il est toujours aussi malaisé de se débarrasser de certains préjugés.L'un des moyens de plus en plus souvent utilisés pour améliorer la prise de décisions et corriger des préjugés humains est l'Intelligence Artificielle (IA). Ces systèmes intelligents seraient capables de produire des résultats plus objectifs notamment dans des domaines sensibles tels que le recrutement, le marché locatif ou les enquêtes de police... car ils seraient libres de nos préjugés humains typiques. Les systèmes IA ne tireraient aucun avantage particulier en discriminant des gens en fonction de leur origine ou de leur genre et de plus ne se baseraient que sur des données objectives.Cette image est cependant trompeuse. Les données ne sont pas objectives et la technologie n'est jamais neutre. La façon dont les données sont collectées et présentées, ainsi que la manière dont les machines sont développées et utilisées, reflètent à coup sûr des valeurs particulières, qui peuvent également être discriminatoires. La prise de conscience croissante de l'existence de ces biais a conduit trois acteurs en vue dans le domaine des logiciels de reconnaissance faciale - IBM, Amazon et Microsoft - à annoncer la semaine dernière la mise en place de limites à l'utilisation de leur technologie par la police.Les logiciels de reconnaissance faciale se sont sensiblement améliorés ces dernières années, surtout grâce aux succès enregistrés par l'apprentissage automatique (en anglais : machine learning), une application IA spécifique, où la machine est nourrie avec de grandes quantités de données et élabore sur cette base un modèle mathématique. Ce modèle servira à effectuer des prévisions ou à prendre des décisions, lorsque la machine sera confrontée à de nouvelles données.Le développement de logiciels de reconnaissance faciale nécessite l'utilisation de bases de données contenant des exemples de visages. Le problème est que la plupart de ces bases de données (dont les contenus sont surtout trouvés dans les médias ou en ligne) contiennent le plus souvent des photos de personnes de race blanche et essentiellement des hommes. La machine élabore ainsi un modèle qui n'est basé que sur un sous-ensemble de la société et apprend moins bien à identifier les visages de femmes ou de personnes de couleur.Le fait que certains groupes connaissent ainsi plus de problèmes à taguer des amis sur les médias sociaux, semble peut-être une "petite injustice", mais ce n'est là que le sommet de l'iceberg. Ce genre de logiciel est en effet utilisé pour des tas d'applications, pas uniquement dans le privé, mais aussi dans le secteur public, comme par exemple la détection de criminels par la police. Si cette technologie se trompe systématiquement dans l'identification de certaines personnes, cela peut engendrer des injustices.En outre, ceux qui sont généralement lésés par les systèmes IA, sont souvent aussi ceux qui sont déjà plus vulnérables, ce qui ne fait que renforcer la discrimination existante.Il n'y a du reste pas que le droit à la non-discrimination, mais aussi d'autres droits fondamentaux qui sont menacés. Le logiciel de reconnaissance faciale est très invasif sur le plan du respect de la vie privée, étant donné qu'il facilite nettement l'identification de personnes et peut amplifier sensiblement le risque de surveillance (de masse) et ce, tant dans des environnements privés (par exemple au travail) que dans l'espace public (par exemple en rue).L'identification d'une personne peut se faire sans son autorisation ou même à son insu. Je suis consciente quand on vérifie mon empreinte digitale, mais je ne sais pas toujours si une caméra est présente et si elle est connectée à un logiciel de reconnaissance faciale. De même, quand je suis informée via un panneau explicite que je suis filmée et que mon visage est identifié (ce qui est en principe la norme en Europe en vertu du RGPD), cela peut créer des tensions. Par exemple, si je décide de faire demi-tour après avoir vu ce genre de panneau, je pourrais passer pour suspecte, ce qui restreint indirectement ma liberté.En Europe, le RGPD a créé un cadre général stipulant les conditions dans lesquelles les données personnelles peuvent être traitées. Une directive semblable a été élaborée pour le traitement de ce genre de données dans un contexte policier. Ce cadre est toutefois abstrait sur de nombreux points, ce qui fait que les pays membres de l'UE interprètent parfois les règles de différentes manières, surtout quant à la nécessité et la proportionnalité de la technologie employée pour atteindre le but fixé.Ces questions sont cruciales dans notre pays aussi. C'est ainsi que le service de sécurité belge a été pointé du doigt il y a quelques mois, parce qu'il aurait utilisé le logiciel de reconnaissance faciale de l'entreprise américaine controversée "Clearview AI". La police caresserait encore l'idée d'introduire à nouveau un logiciel de reconnaissance faciale par exemple à l'aéroport, à condition qu'une base légale le permette. La Commission européenne examine actuellement l'opportunité d'introduire une réglementation pour l'Intelligence Artificielle et, si tel est le cas, comment elle devrait se présenter. La Belgique ne doit cependant pas attendre l'Europe. Le débat sur la discrimination nouvellement stimulé peut être une excellente opportunité pour la Belgique d'émettre un signal fort pour que ce problème soit pris au sérieux.Ainsi, la Belgique pourrait opter pour un moratoire temporaire sur certaines applications du logiciel de reconnaissance faciale, jusqu'à ce qu'un cadre réglementaire plus spécifique soit élaboré, afin de garantir que son utilisation soit éthique et respecte les droits fondamentaux.Un large débat pourrait aussi être mené sur les caractéristiques minimales que ce genre de technologie doit satisfaire pour être acquise et utilisée par le gouvernement ou pour des applications privées sensibles, par exemple un niveau de précision équivalent pour différents groupes de populations.La technologie peut offrir une solution à bien des problèmes, mais si son développement et son utilisation n'incorporent pas nos valeurs fondamentales, elle ne sera qu'une source d'autres problèmes. Et cela ne vaut pas uniquement pour les logiciels de reconnaissance faciale, mais aussi pour quasiment toutes les applications technologiques.Le débat se réduit souvent injustement à un choix manichéen. Dans le cas de la reconnaissance faciale, la sécurité serait opposée au respect de la vie privée, et dans celui de l'application anti-corona, le respect de la vie privée à la santé. Ces oppositions sont trompeuses, car il existe des solutions 'et-et' plutôt que 'ou-ou'.La Belgique compte suffisamment de chercheurs talentueux, capables de développer sur une base multidisciplinaire de la technologie améliorant la vie de tout un chacun, plutôt que d'un groupe privilégié. Surtout lorsque des décisions importantes sont déléguées à des systèmes IA, c'est notre devoir d'assurer que la responsabilité pour ces systèmes soit assumée.Cela exige une profonde réflexion sur l'impact éthique, juridique, social et économique de la technologie avant qu'elle ne soit déployée dans la société. La question n'est pas de savoir s'il faut y incorporer des valeurs - on ne peut y échapper -, mais bien lesquelles.Des droits comme le respect de la vie privée et la non-discrimination doivent être pris en considération depuis la phase de conception du système, si on veut réaliser la solution 'et-et'. Et quand cela s'avère impossible, n'oublions pas que ce n'est pas parce nous pouvons développer une certaine technologie que nous devons absolument le faire. A nous de choisir.