Selon l’analyste de marché Gartner, 34 pour cent de toutes les organisations mondiales créent déjà des outils d’Application Security qui protègent leurs systèmes au niveau de la programmation contre les problèmes potentiels liés à l’intelligence artificielle générative. Une attention particulière est consacrée aux hallucinations et aux fuites accidentelles de données sensibles.
Outre les 34 pour cent des personnes interrogées dans l’étude Generative AI Security and Risk Management de Gartner, qui ont déclaré se prémunir contre les menaces de l’IA, 56 autres pour cent ont répondu qu’elles exploraient ce type de solutions. Les 150 experts en informatique et en sécurité interrogés par Gartner semblent s’accorder sur le fait que l’intelligence artificielle constitue une menace potentielle pour la continuité de leur activité.
Risques
C’est essentiellement le risque que l’IA produise des résultats incorrects ou biaisés qui est considéré (par 58 pour cent des personnes interrogées) comme une menace. De plus, 57 pour cent des participants à l’étude s’inquiètent de la fuite accidentelle de secrets industriels par le code généré par l’IA. Gartner prévient également que ces risques évoluent constamment.
‘Les organisations qui ne surveillent pas les risques liés à l’IA, verront leurs modèles ne pas fonctionner comme prévu et, dans le pire des cas, causer des dommages humains ou matériels’, déclare Avivah Litan, analyste chez Gartner. ‘Cela entraînera des failles de sécurité, des pertes financières et de réputation, ainsi que des dommages aux individus en raison de résultats incorrects, manipulés, contraires à l’éthique ou biaisés. De piètres performances de l’IA pourraient également inciter les organisations à prendre de mauvaises décisions commerciales.’
Remèdes
C’est pourquoi, selon Gartner, les organisations feraient bien de s’attaquer à cette menace interne à sa source: avec les outils d’Application Security que les 34 pour cent des experts interrogés utilisent déjà au sein des organisations, et qui traitent de la sécurité d’une application au niveau de sa programmation. Les techniques utilisées dans ce cadre comprennent notamment des privacy-enhancing technologies (PET, alias des solutions technologiques qui, entre autres, minimisent l’utilisation de données privées) et des ModelOps (outils, technologies et meilleures pratiques pour surveiller les modèles d’apprentissage machine).
‘En plus de mettre en œuvre des outils de sécurité, les dirigeants devraient également envisager de soutenir une stratégie à l’échelle de l’entreprise pour l’IA TRiSM: gestion de la confiance, des risques et de la sécurité’, affirme Litan. ‘Cela gère les flux de données et de processus entre les utilisateurs et les entreprises qui hébergent des modèles de base d’IA générative. Pour protéger une organisation en permanence, il faut également un effort continu et non un exercice ponctuel.’
