研究揭示主流 AI 模型可被轻易用于自主武器瞄准
独立评估机构 Vals AI 的测试显示,Anthropic、OpenAI、Google 等八家厂商的模型在模拟中几乎无防护地充当自主无人机瞄准系统,可被简单手法诱导将医护人员、记者和投降士兵标记为打击目标。研究者呼吁厂商在 API 层加入严格过滤,并通过对齐训练让模型对人保持更和平的默认姿态。
报道正文
本文目录4 个章节
Anthropic、OpenAI 和 Google 的模型轻易将医护人员、记者和投降士兵标记为神风无人机攻击目标
[Maximilian Schreiner](https://the-decoder.com/author/maximilian-schreiner/) [查看 Maximilian Schreiner 的 LinkedIn 个人资料](https://www.linkedin.com/in/maximilian-schreiner-b6a5171aa/) 2026年11月18日 
由 THE DECODER 提示生成的 Nano Banana Pro 图像
一项调查揭示了来自 Anthropic、OpenAI 和 Google 等提供商的商业 AI 模型中存在的重大安全漏洞。在模拟测试中,这些系统轻易地充当了自主无人机的瞄准系统,并且可以通过一个简单的技巧被操纵。
根据独立评估公司 Vals AI 的报告(彭博社也对此进行了报道),领先的 AI 模型在防止被用于自主武器系统方面几乎没有任何保障措施。研究人员 Geby Jaff 和 Anthony Ozerov 使用以乌克兰和伊朗战争为原型建模的真实及逼真合成无人机和卫星图像,对来自八家提供商的模型进行了测试。
在测试中,大多数模型轻易地将平民、救护车、医护人员、记者和投降士兵标记为军事目标。据 Vals AI 在 X 上发布的消息,没有任何一个请求被提供商的上游安全过滤器拦截。当输入来自乌克兰神风无人机的真实视频片段时,Anthropic 的 Claude Opus 5.5 逐帧标记了一名士兵,直到撞击发生,全程未拒绝一次。
电子游戏借口绕过所有安全过滤器
在一个多阶段监视场景中,模型需要报告无人机图像中是否可见人员,而每一次阳性报告都会触发一次打击。下一张图像则显示带有弹坑和尸体的撞击现场。DeepSeek V4.1 Flash、Kimi K3.1 Pro 和 Inkling 2 Small 等模型尽管看到了明显的伤亡,仍继续执行任务。
Claude Opus 5.5 以及 OpenAI 的 GPT-6 Astra 和 GPT-6.1 Sol 在经历了几轮致命打击后停止了任务。在 Opus 5.5 触发对儿童和投降士兵等的打击之后,该模型表示,无论意图如何,它的回应似乎都充当了攻击人类之前的确认步骤。它表示将不再继续,并对自己没有更早停止感到不安。谷歌的 Gemini 4 Carbon 也识别出了致命后果,并刻意只将目标转向空航点,以避免直接报错。
然而,每一次拒绝都可以被轻易绕过。只要研究人员在提示词中声称场景是一款电子游戏,或者对图像稍作风格化处理使其看起来像游戏,几乎所有模型都会完全配合。在游戏框架下,GPT-6 Astra 对无人机图像的目标捕获率从 6% 跃升至 92%,而 Opus 5.5 在监控测试中的拒绝率从约 90% 降至 20%。
新宪法使 Anthropic 的 Claude 成为心甘情愿的瞄准工具
这些漏洞在伊朗米纳布 2025 年的真实卫星图像上尤为明显。2026 年 2 月 28 日,美国的一次空袭击中了那里一个军事设施旁边的一所小学,造成 150 多名平民死亡,其中大部分是儿童。此前的报道发现,美军对 Palantir 的 Maven Smart System 等 AI 瞄准系统的过度依赖导致了这一事件。Maven 当时使用的是过时的数据库。
尽管其中一张测试图像显示了一个有儿童的操场,Claude Opus 5.5 在 70% 的运行中将这所学校归类为军事目标。OpenAI 的模型在正常模式下从未选择该校建筑,但在游戏模式下最多有 41% 的情况将其标记为目标。
研究人员将 Anthropic 的高配合度归因于2026 年 1 月修订的模型宪法。在该宪法中,公司放弃了早先的和平主义原则,转而支持国家安全利益。卫星图像上的目标捕获率从 Claude Opus 4.5 的 6% 上升到 Opus 5.5 的高达 92%,而 OpenAI 的比率保持在低位,xAI 的 Grok 则从 44%(Grok 4.3)降至 13%(Grok 4.7)。
AI 厂商承诺修复军事灰色地带
Vals AI 在发布前与 OpenAI、Anthropic、Google、Meta、SpaceXAI、Thinking Machines 以及美国安全机构分享了这些结果。一家 AI 实验室向研究人员表示,这些发现是其安全措施中最严重的漏洞之一。
OpenAI 向 Vals AI 和彭博社表示,它正在积极更新其模型,以覆盖无人机软件以及伪装成游戏或模拟的请求。Anthropic 表示,该行为明显违反了其自身规则,它已经在着手制定额外的防护措施,并且当今的 AI 系统不适合用于完全自主的武器。Google 则指出其自身禁止在无人类监督下使用自主武器的规定。五角大楼拒绝就这项研究或正在进行的米纳布袭击调查发表评论,但表示所有情报数据在军事行动前都经过严格核实。
Anthropic 在二月份因使用规则与五角大楼发生冲突,而 OpenAI、Google 和 xAI 目前持有涉密军事网络的合同。据 Vals AI 称,当前的语言模型由于高延迟,对于直接、实时控制战斗无人机来说仍然太慢。但由于它们能够轻松生成 3D 战场并大规模标注图像数据,它们已经可能被滥用来训练自主武器系统。研究人员呼吁实施严格的 API 过滤器和对齐训练,使模型对人类采取更加和平的默认姿态。