返回全部资讯
OpenAI 官方博客T1·商业与生态

OpenAI 披露拦截五起 AI 隐蔽影响行动

原标题:Disrupting deceptive uses of AI by covert influence operations
68AI 研判分

OpenAI 发布报告称,过去三个月内成功识别并阻断了五起试图利用其模型进行欺骗性舆论操纵的隐蔽影响行动(IO)。数据显示,这些被中断的行动在受众参与度和传播范围上均未产生实质性增长,且多数案例的影响等级低于 2 级。该事件凸显了 AI 安全护栏在防御恶意滥用方面的有效性,以及 AI 工具在威胁情报调查中的辅助作用。

报道正文

OpenAI 致力于执行防止滥用的政策,并提高 AI 生成内容的透明度。这一点在检测和破坏隐蔽影响力行动(IO)方面尤为重要,此类行动试图在不暴露幕后行为者真实身份或意图的情况下操纵公众舆论或影响政治结果。

在过去三个月中,我们破坏了五起企图利用我们的模型在互联网上支持欺骗性活动的隐蔽 IO。截至 2024 年 5 月,这些活动似乎并未因使用我们的服务而显著增加其受众参与度或传播范围。

本博客介绍了我们破坏的威胁行为者、识别出的攻击者趋势以及重要的防御趋势——包括在设计 AI 模型时考虑安全性如何在许多情况下阻止了威胁行为者生成他们想要的内容,以及 AI 工具如何提高我们自身调查的效率。除了这篇博客文章外,我们还发布了一份趋势分析报告,详细描述了这些恶意行为者的行为特征。

阅读完整报告⁠(在新窗口中打开)

威胁行为者在互联网上活跃,我们也同样如此。通过与行业、民间社会和政府的合作,我们应对 IO 内容的创建、分发及其影响。我们的调查和破坏行动之所以能够成功,部分原因在于多年来分发平台和开源社区提供了大量详细的威胁情报报告。OpenAI 像其他科技公司一样发布这些发现,旨在促进更广泛利益相关者社区之间的信息共享和最佳实践交流。

在过去三个月中,我们针对 IO 行为者的工作破坏了那些企图利用 AI 模型执行各种任务的隐蔽影响力行动,例如生成多种语言的短评和长文、为社交媒体账户编造名称和个人简介、进行开源情报研究、调试简单代码,以及翻译和校对文本。

具体而言,我们破坏了:

  • 一项此前未被披露的、源自俄罗斯的操纵行动,我们将其命名为 Bad Grammar。该行动主要在 Telegram 平台上运作,目标受众包括乌克兰、摩尔多瓦、波罗的海国家以及美国。Bad Grammar 背后的操作人员利用我们的模型调试运行 Telegram 机器人的代码,并生成俄语和英语的简短政治评论,随后发布在 Telegram 上。

  • 一项源自俄罗斯、被称为 Doppelganger⁠(opens in a new window) 的行动。Doppelganger 的相关人员利用我们的模型生成英语、法语、德语、意大利语和波兰语的评论,并发布在 X 和 9GAG 上;翻译并编辑英语和法语文章,发布在与该行动关联的网站上;生成新闻标题;并将新闻文章转换为 Facebook 帖子。

  • 一个名为 Spamouflage⁠(opens in a new window) 的中国网络。该网络利用我们的模型研究公开的社交媒体活动,生成包括中文、英文、日文和韩文在内的文本,并发布在 X、Medium 和 Blogspot 等平台上;同时用于调试管理数据库和网站的代码,其中包括一个此前未被披露的域名 revealscum[.]com。

  • 一项来自伊朗、被称为 International Union of Virtual Media⁠(opens in a new window)(IUVM) 的行动。该组织利用我们的模型生成长篇文章、标题和网站标签并进行翻译,随后发布在与这一伊朗威胁行为者关联的网站 iuvmpress[.]co 上。

  • 以色列一家名为 STOIC 的商业公司的活动。由于我们在技术上干扰的是其活动而非公司本身,我们将此行动命名为 Zero Zeno,以此致敬斯多葛学派的创始人。Zero Zeno 背后的操作人员利用我们的模型生成文章和评论,并发布在多个平台上,尤其是 Instagram、Facebook、X 以及与该行动关联的网站上。

这些不同行动所发布的内容涵盖了广泛议题,包括俄罗斯入侵乌克兰、加沙冲突、印度选举、欧洲和美国政治,以及中国异见人士和外国政府对中国政府的批评。

迄今为止,这些行动似乎并未因我们的服务而获得有意义的受众参与度或覆盖范围提升。根据布鲁金斯学会的“突破规模”(Breakout Scale)⁠(在新窗口中打开)——该指标将隐蔽信息行动(IO)的影响程度划分为从 1(最低)到 6(最高)的等级——我们案例研究中的五项行动得分均未超过 2 分(即在多个平台上有活动,但未能突破进入真实社区)。