Un chercheur a démontré qu’un modèle d’IA permettant de détecter des maladies sur des radiographies commet beaucoup plus d’erreurs chez les minorités.
L’étude a été publiée dans Science Advances et examinée par Science. Il s’agit de recherches sur le modèle d’IA CheXzero, développé en 2022 par des chercheurs de l’Université de Stanford (Etats-Unis). Ce modèle a été formé sur un ensemble de données de quatre cent mille radiographies thoraciques de personnes de Boston souffrant de certaines affections pulmonaires. Lors des tests précédents, le modèle était capable de poser des diagnostics aussi précis que de radiologues humains.
Mais un informaticien de l’Université de Los Angeles, l’UCLA, a voulu vérifier si le modèle souffrait également de préjugés (bias) sur base des données de formation qui lui avaient été fournies. Le chercheur Yuzhe Yang a ainsi prélevé 666 scans à partir de l’ensemble de données comprenant également des informations sur le genre, l’âge et la race du patient.
Des recherches complémentaires ont révélé que le modèle d’IA commettait beaucoup plus souvent des erreurs dans la détection de maladies chez les patients noirs ou féminins. Les personnes de moins de quarante ans étaient également plus susceptibles d’être mal diagnostiquées. Chez les femmes noires, la moitié des maladies n’ont pas été détectées par CheXzero. Le test a ensuite été répété sur des scans provenant d’Espagne et du Vietnam, avec les mêmes conclusions.
Diminution du pourcentage d’erreurs
Les recherches ont démontré que CheXzero pouvait prédire la race d’une personne avec une certaine précision à partir d’une radiographie. Ce test était correct dans 80 pour cent des cas, alors que des radiologues expérimentés n’avaient raison que dans la moitié des cas avec un test similaire.
Dans un test supplémentaire visant à filtrer les préjugés, la race, le genre et l’âge ont été délibérément partagés avec l’IA. Le pourcentage d’erreurs a alors soudainement diminué de moitié.
Des ensembles de données plus diversifiés nécessaires
Selon Yang, le problème réside dans la formation du modèle même, incluant proportionnellement davantage d’hommes, davantage de personnes de plus de quarante ans et davantage de patients blancs. Le chercheur prône par conséquent des ensembles de données plus vastes et plus diversifiés. Cela démontre, et ce n’est pas la première fois, que les systèmes d’IA formés sur une partie spécifique de la population commettent plus vite des erreurs, lorsqu’ils doivent également appliquer ces connaissances à des patients qui ne correspondent pas au plus petit dénominateur commun.
Vous avez repéré une erreur ou disposez de plus d’infos? Signalez-le ici