Un outil d’IA anti-discours de haine dans le nouveau Call of Duty

La franchise de jeu Call of Duty bien connue – principalement en raison de sa violence explicite – est le premier grand nom de l’industrie du jeu vidéo à prendre des mesures contre les messages de haine. Le jeu implémente en effet l’IA dans ses systèmes de chat (discussion).

La société de jeux américaine Activision, à l’origine du développement du jeu de tir à la première personne Call of Duty, a annoncé qu’elle surveillerait désormais les conversations de chat entre les joueurs au moyen d’un outil d’IA appelé ‘ToxMod’. Elle veut ainsi lutter contre les discours de haine, la discrimination et le harcèlement, qui constituent un véritable problème au sein de la communauté des joueurs depuis un certain temps déjà, même avec les jeux les plus ‘pacifiques’ tels que FIFA. L’outil se trouve actuellement en phase bêta en Amérique du Nord, où il est testé dans ‘Call of Duty®: Modern Warfare 2’ et dans ‘Call of Duty: Warzone’. Le 10 novembre, l’outil sera également présenté en Europe et en Belgique avec le nouveau ‘Call of Duty: Modern Warfare 3’.

ToxMod

L’outil d’IA ToxMod est un produit de Modulate, qui encourage les producteurs de jeux à protéger leurs joueurs contre la discrimination et le harcèlement. L’entreprise a développé un système d’IA qui tente de reconnaître les messages haineux en écoutant des enregistrements audio de chats entre joueurs. Il s’agit du premier logiciel de ce type, selon Modulate.

ToxMod enregistrera donc les mots et déclarations inappropriés et les transmettra au producteur Activision. Ni l’outil d’IA ni Modulate n’auront le pouvoir d’expulser des joueurs du serveur ou de refuser l’accès au jeu. Activision elle-même, en revanche, jugera, selon son propre code de conduite, si des joueurs doivent être bannis sur la base de leurs déclarations. Ces règles autoriseront, par exemple, les propos dits trash ou les insultes. Activision n’interviendra qu’en cas de discours haineux et de déclarations délictueuses. Dans le passé, Activision n’a pas hésité à supprimer des comptes, après qu’un grand nombre de joueurs aient été surpris en train de tricher .

Le seul inconvénient de l’outil d’IA est qu’il ne peut reconnaître que l’anglais pour l’instant, comme tant de logiciels de reconnaissance vocale. Après la distribution mondiale de l’outil en novembre, selon Activision, il devrait également commencer à reconnaître plusieurs autres langues. On ignore encore de quelles langues il s’agira exactement.

Confidentialité

Le nouveau logiciel d’IA enregistrera les discours de haine sous une forme audio et les transmettra au développeur de jeux Activision, ce qui soulève immédiatement des questions sur la confidentialité des joueurs. C’est pourquoi Activision a déjà partagé une page FAQ étoffée pour fournir aux utilisateurs les réponses nécessaires. Pour les communications via le gamechat de Call of Duty, il ne semble y avoir aucune échappatoire. Les joueurs pourront complètement désactiver leur communication avec les autres joueurs, mais cela aura logiquement un impact sur l’expérience de jeu.

Alternative: les systèmes de chat des consoles de jeu elles-mêmes. Si les joueurs ne veulent vraiment pas que ToxMod et Activision les mette sur écoute, il existe toujours la possibilité de communiquer avec des amis via le système de communication de la Playstation, Xbox ou PC. Activision et ToxMod n’y ont absolument pas accès.