Les Britanniques semblent se détourner des algorithmes gouvernementaux

L’utilisation d’algorithmes et de l’apprentissage machine pour la prise de décisions de la part des pouvoirs publics est de plus en plus remise en question en Grande-Bretagne. Ces derniers mois, une vingtaine de ces algorithmes ont ainsi déjà été supprimés.

Le Royaume-Uni était l’un des pays les plus enthousiastes en vue de remplacer son équipement gouvernemental par des algorithmes. Les critiques n’en sont aujourd’hui que plus acerbes en partie à cause de quelques scandales publics. Nombre de ces algorithmes, qui avaient été (un peu trop rapidement) développés, sont à présent annulés.

Ces dernières semaines n’ont guère été favorables pour la réputation de l’intelligence artificielle (AI) dans ce pays. Début août, les autorités ont en effet supprimé un algorithme qu’elles utilisaient pour les demandes de permis de séjour, parce qu’il aurait discriminé certains groupes de la population.

Et la décision de faire déterminer les résultats d’examens en période de corona par un algorithme plutôt que sur base des évaluations des élèves par les enseignants, fut elle aussi annulée, après que cela ait provoqué des manifestations en rue. Il faut dire que les résultats des examens en question conditionnent en grande partie le choix des universités auxquelles les élèves peuvent prétendre, et impactent donc leur avenir. L’algorithme en question aurait discriminé les élèves de certaines écoles situées souvent dans des quartiers défavorisés.

C’est surtout la crise des examens qui a incité les citoyens à commencer à se poser des questions sur l’utilisation de l’AI. A présent, il apparaît en outre qu’une vingtaine de pouvoirs locaux (‘councils’) dans le pays ont décidé ces derniers mois de renoncer à plusieurs algorithmes qu’ils utilisaient pour prendre des décisions en lieu et place des fonctionnaires. Il s’agit par exemple de la détection de cas de fraude lors de la demande d’allocations, selon le journal britannique The Guardian, qui révèle qu’un tiers environ des pouvoirs publics régionaux utilisent des algorithmes pour effectuer du travail normalement réalisé par des fonctionnaires.

Data Justice Lab, une organisation établie à l’université de Cardiff, a examiné les algorithmes supprimés et pourquoi ils l’avaient été. Elle a constaté par exemple qu’un algorithme avait été annulé, après qu’une demande à faible risque avait été erronément classée comme à haut risque, alors qu’un autre algorithme exerçait à peine une influence sur le travail du ‘council’. D’autres algorithmes encore plus sensibles, dont un qui devait prévoir quels enfants couraient un risque d’abus plus élevé, furent aussi supprimés au bout d’un temps.

“Les raisons de leur suppression vont de problèmes quant à la façon dont ces algorithmes fonctionnent, jusqu’à des questions sur leurs effets négatifs et leurs préjugés”, explique Dr Joanna Redden du Data Justice Lab au journal. “Nous tentons à présent d’identifier des modèles, mais on observe à tout le moins un facteur récurrent, à savoir que le public n’a pas été consulté.” Ce sont surtout les personnes sur lesquelles l’algorithme pourrait avoir le plus d’impact, qui n’ont pas été entendues, selon Redden.

Dans de nombreux cas, l’échec de ces algorithmes est dû à un travail précipité ou à une sorte d’apprentissage machine n’accordant que peu d’attention aux problèmes sociaux structurels existants, comme les enfants de familles plus pauvres éprouvant davantage de difficultés à entrer à l’université. Un algorithme bien conçu devrait en tenir compte, alors que beaucoup de ceux qui étaient utilisés, ciblaient une situation existante souvent injuste et s’enracinaient dans des automatismes. Cela est d’autant plus sensible pour les sujets sociaux brûlants tels le bien-être et les examens susceptibles de conditionner l’avenir de toute une génération d’élèves. Les experts exigent dès lors davantage de transparence, afin d’éviter à l’avenir des erreurs souvent coûteuses.

Le Royaume-Uni était l’un des pays les plus enthousiastes en vue de remplacer son équipement gouvernemental par des algorithmes. Les critiques n’en sont aujourd’hui que plus acerbes en partie à cause de quelques scandales publics. Nombre de ces algorithmes, qui avaient été (un peu trop rapidement) développés, sont à présent annulés.

Ces dernières semaines n’ont guère été favorables pour la réputation de l’intelligence artificielle (AI) dans ce pays. Début août, les autorités ont en effet supprimé un algorithme qu’elles utilisaient pour les demandes de permis de séjour, parce qu’il aurait discriminé certains groupes de la population.

Et la décision de faire déterminer les résultats d’examens en période de corona par un algorithme plutôt que sur base des évaluations des élèves par les enseignants, fut elle aussi annulée, après que cela ait provoqué des manifestations en rue. Il faut dire que les résultats des examens en question conditionnent en grande partie le choix des universités auxquelles les élèves peuvent prétendre, et impactent donc leur avenir. L’algorithme en question aurait discriminé les élèves de certaines écoles situées souvent dans des quartiers défavorisés.

C’est surtout la crise des examens qui a incité les citoyens à commencer à se poser des questions sur l’utilisation de l’AI. A présent, il apparaît en outre qu’une vingtaine de pouvoirs locaux (‘councils’) dans le pays ont décidé ces derniers mois de renoncer à plusieurs algorithmes qu’ils utilisaient pour prendre des décisions en lieu et place des fonctionnaires. Il s’agit par exemple de la détection de cas de fraude lors de la demande d’allocations, selon le journal britannique The Guardian, qui révèle qu’un tiers environ des pouvoirs publics régionaux utilisent des algorithmes pour effectuer du travail normalement réalisé par des fonctionnaires.

Data Justice Lab, une organisation établie à l’université de Cardiff, a examiné les algorithmes supprimés et pourquoi ils l’avaient été. Elle a constaté par exemple qu’un algorithme avait été annulé, après qu’une demande à faible risque avait été erronément classée comme à haut risque, alors qu’un autre algorithme exerçait à peine une influence sur le travail du ‘council’. D’autres algorithmes encore plus sensibles, dont un qui devait prévoir quels enfants couraient un risque d’abus plus élevé, furent aussi supprimés au bout d’un temps.

“Les raisons de leur suppression vont de problèmes quant à la façon dont ces algorithmes fonctionnent, jusqu’à des questions sur leurs effets négatifs et leurs préjugés”, explique Dr Joanna Redden du Data Justice Lab au journal. “Nous tentons à présent d’identifier des modèles, mais on observe à tout le moins un facteur récurrent, à savoir que le public n’a pas été consulté.” Ce sont surtout les personnes sur lesquelles l’algorithme pourrait avoir le plus d’impact, qui n’ont pas été entendues, selon Redden.

Dans de nombreux cas, l’échec de ces algorithmes est dû à un travail précipité ou à une sorte d’apprentissage machine n’accordant que peu d’attention aux problèmes sociaux structurels existants, comme les enfants de familles plus pauvres éprouvant davantage de difficultés à entrer à l’université. Un algorithme bien conçu devrait en tenir compte, alors que beaucoup de ceux qui étaient utilisés, ciblaient une situation existante souvent injuste et s’enracinaient dans des automatismes. Cela est d’autant plus sensible pour les sujets sociaux brûlants tels le bien-être et les examens susceptibles de conditionner l’avenir de toute une génération d’élèves. Les experts exigent dès lors davantage de transparence, afin d’éviter à l’avenir des erreurs souvent coûteuses.