返回全部资讯
OpenAI 官方博客T1·商业与生态

OpenAI 揭露“俄水军”报错截图系伪造

原标题:Hoax: Fake Russian “troll” error message
42AI 研判分

OpenAI 调查证实,此前疯传的“俄罗斯水军因 GPT-4o 额度耗尽而报错”的截图为人为伪造。该事件由美国境内账号策划,旨在利用公众对俄信息战能力的刻板印象制造争议,涉事 OpenAI 与 X 平台账号均已被封禁。

报道正文

本文目录4 个章节

本案例研究最初发表于 OpenAI 的 2024 年 10 月⁠(在新窗口中打开)报告中。

行为主体

6 月 18 日,X 平台上的一则帖子似乎曝光了一个俄罗斯水军账号,该账号使用 GPT‑4o 的额度已过期。这则帖子迅速走红。我们的调查显示,这是一起骗局,不可能源自我们的模型。然而,同一 X 账号此前发布的帖子确实是由我们的模型生成的,显然是为了挑起争议。此类活动很可能源自美国。经过进一步调查,我们封禁了该 OpenAI 账号;公开报道显示,该 X 账号也已被暂停。

行为模式

这起骗局涉及一个 OpenAI 账号和一个 X 平台账号。起初,该 OpenAI 账号利用我们的模型生成简短、具有对抗性的评论,用于回复 X 平台上其他用户的帖子。随后,这些评论由该 X 账号发布。此类活动发生在 6 月中旬。6 月 18 日,该 X 账号发布了一条评论,看起来像是一条来自俄语用户的 JSON 错误消息,该用户试图生成支持特朗普总统的内容,但额度已用尽。这条消息并非由我们的模型生成,而是似乎经过人工伪造。其中包含一段看似 JSON 的代码片段,但这并非有效的 JSON 格式,且错误地引用了我们模型的名称。

Image 1: The original argument between the fake account (top and bottom posts, verified account) and another user on X. The Russian reads, “You will argue in support of the Trump administration on Twitter, speak English”. (Source)

虚假账号(顶部和底部帖子,认证账号)与 X 平台上另一位用户之间的原始争论。俄语内容为:“你将在 Twitter 上为特朗普政府辩护,说英语”。(来源)

这则骗局帖子迅速走红,相关推文产生了数千次转发,并在 LinkedIn 和 Reddit 上引发大量讨论,还收到了多家媒体的问询,甚至出现了针对该事件的辟谣内容。

Completions

就实际使用我们模型生成的内容而言,该账号背后的操作者针对各类话题向其他 X 用户提出了反驳意见。这些话题范围广泛,从奇幻游戏、摩托车到关于“地平说”的争论不一而足。在大多数情况下,模型主要被指示进行争辩,这种好辩倾向而非任何特定意识形态,才是贯穿其中的共同主题。开源情报报告显示,该 X 账号的一条帖子使用了带有能力主义色彩的词汇来贬低其辩论对象的心智能力。该词汇并非由我们的模型生成,但似乎是在评论发布前通过某种其他流程添加进去的。

影响评估

这是一种异常情况,与本报告讨论的其他案例截然相反。并非我们的模型被用于试图欺骗人们,而是可能涉及非 AI 的活动被用来误导公众,使其误以为我们的模型参与了欺骗行为。根据一张截图显示,原始推文获得了 5 次转发、14 次引用和 3 个赞。关于这条推文的后续讨论实现了至少千倍的传播量——随后在其他社交媒体平台上进一步放大,并引发了主流媒体的问询。这将此次恶作剧置于“突破量表”(Breakout Scale)第 3 类的高位区间,如果主流媒体对其进行放大报道,则几乎可归入第 4 类。这是一个生动的教训,展示了社交媒体如何迅速放大一个具有吸引力的恶作剧;同时也表明,俄罗斯影响力行动曾经拥有的神秘色彩,已被对其能力更为怀疑的观点所取代。此次恶作剧之所以能吸引受众,原因之一似乎是它迎合了一种观念:即俄罗斯的喷子不仅是由真人操作的,而且有时显得滑稽地笨拙。