OpenAI démantèle des réseaux chinois malveillants utilisant ChatGPT

OpenAI a annoncé avoir démantelé plusieurs réseaux, dont certains liés à la Chine, qui tentaient d’utiliser ChatGPT à des fins illicites, notamment pour la surveillance et le développement de logiciels malveillants. L’entreprise affirme avoir renforcé sa politique de suspension et mis en avant la solidité de ses modèles face aux requêtes malintentionnées.

“Sonde”

Parmi les actions menées, des comptes basés en Chine ont été bannis après avoir utilisé ChatGPT pour concevoir du matériel promotionnel et des plans destinés à un outil d’écoute des réseaux sociaux. Ce dispositif, décrit comme une « sonde », visait à analyser des plateformes comme X ou TikTok pour repérer des contenus considérés comme extrémistes ou politiquement sensibles.

Un autre utilisateur a été exclu pour avoir tenté de rédiger, avec l’aide de l’IA, une proposition de système de surveillance ciblant les Ouïghours. Ce projet aurait permis de suivre leurs déplacements et de croiser ces données avec des registres policiers afin d’émettre des alertes automatisées. OpenAI précise toutefois ne pas savoir si un gouvernement se trouvait derrière ces initiatives et affirme que ses modèles n’ont jamais servi directement à la mise en œuvre de tels systèmes.

Outre ces activités, la société a identifié des groupes basés en Chine, en Russie et en Corée qui tentaient d’exploiter ChatGPT pour créer ou améliorer des malwares, notamment des chevaux de Troie et des voleurs d’identifiants. Des réseaux d’escroquerie opérant depuis le Cambodge, le Myanmar et le Nigeria ont également été démantelés pour avoir tenté de détourner les modèles à des fins frauduleuses.

Depuis février 2024, OpenAI a mis fin aux activités de plus de quarante réseaux enfreignant ses règles. L’entreprise se veut rassurante : aucune preuve n’indique que ces acteurs aient obtenu de nouvelles capacités offensives. Au contraire, elle affirme que ses modèles ont refusé de répondre aux demandes malveillantes, constituant ainsi une première ligne de défense contre leur propre détournement.