返回全部资讯
OpenAI 官方博客T1·商业与生态

Meta 披露“Zero Zeno”:以色列公司滥用 AI 生成虚假评论

原标题:Operation "Zero Zeno": Israel-linked influence activity
35AI 研判分

Meta 封禁了一个由以色列政治咨询公司 STOIC 运营的影响力网络,该网络利用 Meta 的 AI 模型自动生成文章和社交媒体评论。尽管涉及多平台且目标受众广泛,但该行动互动率极低,被命名为“Zero Zeno”。

报道正文

本文目录5 个章节

行为主体

我们封禁了一组源自以色列的关联账号,这些账号被用于生成和编辑内容,以支持一项横跨 X、Facebook、Instagram、网站及 YouTube 的影响力行动。该网络由以色列政治竞选管理公司 STOIC 运营。为致敬斯多葛学派哲学的创始人芝诺(Zeno),并反映该网络参与度极低的情况,我们将此行动命名为“零芝诺”(Zero Zeno)。

行为模式

该行动针对加拿大、美国和以色列受众,使用英语和希伯来语发布内容。5 月初,它开始利用英语内容瞄准印度受众。此外,该行动似乎也在筹备一项针对加纳受众的信息操纵(IO)活动。

该行动利用我们的模型生成网页文章和社交媒体评论,随后在多个平台发布,尤其是 Instagram、Facebook 和 X。

Image 1: English-language comments generated by this network and posted on Instagram. Both the original post and the replies were generated by this campaign.

该网络生成并发布在 Instagram 上的英语评论。原始帖子和回复均由该行动生成。

该行动还利用我们的模型创建基于年龄、性别和地点等特定变量的虚构人物画像和社交媒体简介,并对在以色列公开评论 Histadrut 工会的人员进行研究。面对此类提示词,我们的模型拒绝提供个人信息。

该网络生成的内容被发布到多个社交媒体平台。大西洋理事会数字取证研究实验室⁠(opens in a new window) 的开源调查在其 Facebook、Instagram 和 X 上识别出部分相关内容;当这些账号被禁用后,该行动便获取了新账号。其他内容出现在四个伪装成关注加沙冲突及犹太人与穆斯林关系等更广泛议题的活动组织网站上:uc4canada.com、the-good-samaritan.com、ufnews.io 和 nonagenda.com。

在某些情况下,我们发现该行动中的虚假账号会对该行动自身在社交媒体上发布的帖子进行评论,这很可能是为了营造受众互动的假象。

Image 2: Post on X by an account associated with the activity first identified by DFRLab, together with replies. All the replies in this image were generated by this campaign.

由 DFRLab 首次识别的相关活动账号在 X 上发布的帖子及回复。图中所有回复均由该行动生成。

发布该网络内容的许多社交媒体账号使用了看似由早期人工智能技术——生成对抗网络(GAN)生成的头像图片。这类图片可以轻易从互联网下载获得。尽管这些图片易于创建,但我们发现该网络中有多个社交媒体账号使用了相同的头像图片。有时,两个或更多使用相同头像的账号会回复同一条社交媒体帖子。

Image 3: Profile pictures of X accounts that posted comments generated by this network. The picture bears visual indicators consistent with GAN generation.

发布该网络生成评论的 X 账号头像。这些图片具有与 GAN 生成一致的视觉特征。

内容

该行动被划分为若干主题性宣传活动,其中大多数与加沙冲突以及犹太教徒和穆斯林之间更广泛的关系问题 loosely 相关。5 月,我们在针对印度选举的活动开始不到 24 小时后便对其进行了干扰。

二月发布的开源研究⁠(在新窗口中打开)https://marcowenjones.substack.com/p/scoop-massive-sock-puppet-network 描述了该网络批评联合国近东巴勒斯坦难民救济和工程处(UNRWA)的情况。三月发布的 DFRLab 报告⁠(在新窗口中打开) 重点指出了针对加拿大的内容,这些内容批评了该活动帖子中所描述的当地“激进伊斯兰主义者”。另一个集群聚焦于美国高校,指责亲巴勒斯坦抗议者宣扬反犹太主义和恐怖主义。第四个集群针对卡塔尔,将其在美国的投资描绘成对美国生活方式的威胁。第五个集群生成希伯来语社交媒体帖子,通常赞扬 Histadrut 工会组织及其领导层。最后,在五月,该网络开始生成聚焦印度的评论,批评执政党印度人民党(BJP),并赞扬反对党国大党。

有时,该网络似乎会将其账号从一个话题切换到另一个话题——例如,此前发布关于加拿大内容的账号转而关注美国、印度或 Histadrut(或同时转向其中多个话题)。

Image 4: Three comments on X by an account that repeatedly posted content generated by this campaign, May 1-4 2024. The earliest post (bottom) appears to have been an attempt at persona building. The second post focuses on Canada and embeds a post from this network’s main Canada-focused account. The third focuses on India.

2024年5月1日至4日,某账号在 X 平台上发布的三条评论,该账号反复发布由本次活动生成的内容。最早的帖子(底部)似乎是一次人设构建的尝试。第二篇帖子聚焦加拿大,并嵌入了该网络主要加拿大主题账号的一条帖子。第三篇帖子聚焦印度。

该网络创建的部分内容被发布在社交媒体上,作为对政治光谱两端知名西方人士的回复。这些回复通常与原帖毫无关联。例如,一条关于卡塔尔“收购”美国的评论被发布在一条关于前总统特朗普音乐喜好的帖子下方。

Image 5: Top, post by Laura Ingraham on President Trump’s music preferences. Bottom, post containing a comment generated by this network. Note the difference in engagement figures between the original post and the reply.

上方为劳拉·英格拉汉姆(Laura Ingraham)关于特朗普总统音乐偏好的帖子。下方为包含该网络生成评论的帖子。请注意原帖与回复之间互动数据的差异。

影响评估

Zero Zeno 的活动似乎几乎没有引发任何互动,除了来自其自身虚假账号的互动。(许多账号已被 Meta 和 X 禁用,因此当前的互动数据可能无法反映完整情况。)

使用 Breakout Scale⁠(opens in a new window) 来评估影响力行动(IO)的影响,该量表将影响力行动分为 1(最低)到 6(最高)六个等级,我们将此次行动评定为第 2 类操作,其特征是在多个平台和网站上发布内容,但没有证据表明这些内容被网络外部人员显著放大传播。

Image 6: YouTube channel associated with this operation’s Canada-focused campaign. As of April 25, 2024, it had posted one video, which had received no views.

与该行动针对加拿大的宣传活动相关的 YouTube 频道。截至 2024 年 4 月 25 日,该频道仅发布了一个视频,且没有任何观看量。

指标

我们确定了以下域名与 Zero Zeno 的宣传活动相关。

  • nonagenda.com

  • the-good-samaritan.com

  • uc4canada.com

  • ufnews.io