L’institut américain de normalisation a développé ce test pour voir comment les modèles d’IA réagissent à certaines attaques.
Le NIST, le National Institute of Standards and Technology américain, a relancé Dioptra. Il s’agit là d’un test pour voir si un modèle d’IA est sûr. Le test examine, entre autres choses, dans quelle mesure un modèle d’IA gère les attaques visant à ‘contaminer’ les données de formation du modèle, afin qu’elles fournissent des informations incorrectes ou malveillantes.
Dioptra a été publié pour la première fois en 2022, mais a maintenant fait l’objet d’une mise à jour. ‘Tester les attaques sur les modèles d’apprentissage machine est l’un des objectifs de Dioptra’, indique le NIST dans un communiqué de presse. ‘Ce logiciel open source est téléchargeable gratuitement et peut aider la communauté – des instances gouvernementales jusqu’aux PME – à évaluer leurs systèmes d’IA.’
‘Boîte noire’
A mesure que de plus en plus d’organisations proposent des modèles d’IA ou les utilisent pour leurs activités, la demande d’une IA plus sûre augmente également. Au Royaume-Uni, entre autres, le gouvernement a déjà publié ‘Inspect’, un ensemble d’outils qui teste si un modèle d’IA peut résister à certaines attaques ou être utilisé, par exemple, pour générer de la désinformation ou de la vengeance pornographique.
La plupart des modèles d’IA sophistiqués sont cependant difficiles à tester, car ils forment une sorte de ‘boîte noire’. Même les développeurs ne savent pas exactement comment y parvenir. Des outils, tels que Dioptra et Inspect, ne peuvent pas non plus garantir qu’un modèle d’IA est sûr après le test, mais ils sont conçus pour mettre en évidence certaines voies d’attaque.
Vous avez repéré une erreur ou disposez de plus d’infos? Signalez-le ici