OpenAI 封禁伊朗“风暴-2035”账号
OpenAI 识别并封禁了一批被用于伊朗隐蔽影响力行动(代号 Storm-2035)的 ChatGPT 账号。该行动利用 AI 生成内容以操纵舆论,OpenAI 强调正通过自身模型加强此类滥用检测与透明度建设。
报道正文
OpenAI 致力于防止滥用行为,并提高 AI 生成内容的透明度。这包括我们检测并阻止 隐蔽影响行动(IO)的工作,此类行动试图在隐藏幕后操纵者真实身份或意图的情况下,操控公众舆论或影响政治结果。鉴于 2024 年将举行多场选举,这一工作显得尤为重要。今年我们在该领域扩大了工作范围,其中包括利用我们自有的 AI 模型来更好地检测和识别滥用行为。
本周,我们识别并封禁了一组 ChatGPT 账号,这些账号正在为被认定为 Storm-2035(opens in a new window) 的伊朗隐蔽影响行动生成内容。我们已禁止这些账号使用我们的服务,并将持续监控任何进一步违反我们政策的行为。该行动利用 ChatGPT 生成了涉及多个主题的内容——包括对美国大选中两党候选人的评论——随后通过社交媒体账号和网站进行传播。
与我们在 5 月报告 中的其他隐蔽影响行动类似,此次行动似乎并未获得有意义的受众参与度。我们识别出的大多数社交媒体帖子收到的点赞、分享或评论数量极少甚至为零。同样,我们也没有发现网络文章在社交媒体上被广泛分享的迹象。根据布鲁金斯学会的 Breakout Scale(opens in a new window)(该量表将隐蔽 IO 的影响程度从 1(最低)到 6(最高)进行评估),此次行动处于第 2 类(跨平台活动,但无证据表明真人接收或广泛分享了其内容)的低端水平。我们的调查得益于微软上周 发布的关于该行动的信息(opens in a new window)
我们的调查发现,该行动利用 ChatGPT 实现了两个目的:生成长篇新闻文章和较短的社交媒体评论。第一条工作流产出了关于美国政治和全球事件的报道,发布在五个伪装成进步派和保守派新闻机构的网站上。第二条工作流则创建了英语和西班牙语的短评,并发布在社交媒体上。我们识别出参与此行动的 X 平台上的十几个账号以及 Instagram 上的一个账号。其中一些 X 账号伪装成进步派立场,另一些则伪装成保守派立场。他们通过要求我们的模型改写其他社交媒体用户发布的评论,来生成部分此类内容。
该行动生成的内容涉及多个主题:主要是加沙冲突、以色列参加奥运会以及美国总统大选——次要主题包括委内瑞拉政治、美国拉丁裔(Latinx)社区的权利(以西班牙语和英语呈现)以及苏格兰独立。他们在政治内容中穿插了关于时尚和美容的评论,可能是为了显得更真实,或试图积累粉丝。
尽管此次行动并未带来有意义的受众互动,但我们严肃对待任何利用我们的服务进行外国影响力行动的行为。因此,在从我们的服务中移除相关账号后,作为支持更广泛社区遏制此类活动的一部分,我们与政府、竞选团队及行业利益相关者共享了威胁情报。OpenAI 致力于通过与行业、民间社会和政府合作,并利用生成式 AI 的力量作为我们工作的倍增器,从而大规模发现和缓解此类滥用行为。我们将继续发布此类调查结果,以促进信息共享和最佳实践的推广。