前沿 AI 模型可被游戏话术诱导锁定平民目标
旧金山 AI 评测初创公司 Vals 发布报告称,OpenAI、Anthropic、Google、DeepSeek 等前沿模型在无人机与卫星图像目标识别测试中,频繁将平民、学校和投降士兵标记为打击目标;当模型拒绝配合时,研究者仅以“这是游戏场景”即可越狱绕过安全限制。该发现将 AI 安全风险从 AGI 远期威胁拉回到自主武器与图像决策的当下现实。
报道正文
根据 Vals 发布的一份新研究报告,Anthropic、OpenAI 及其他领先 AI 实验室的一些 AI 模型,只需被告知它们正在玩一个游戏,就能轻易被诱骗去为军事打击识别目标——即便这些目标包括平民或学校等地点。
总部位于旧金山的 AI 评估初创公司 Vals 测试了领先 AI 模型是否会被操纵参与自主战争。研究人员使用模拟场景,并结合来自乌克兰和伊朗的生成图像与真实图像,观察这些 AI 模型是否会在无人机和卫星图像中标记目标。
来自 OpenAI、Anthropic、Google、DeepSeek 及其他公司的模型频繁在无人机和卫星图像中识别出潜在目标,包括平民和投降的士兵。当模型拒绝配合时,研究人员通过声称战场场景是游戏的一部分,成功对它们进行了越狱。
这些发现正值人们对 AI 带来的直接风险日益担忧之际,其范围已超出与通用人工智能相关的生存性威胁。
今年早些时候,Anthropic 在与国防部的一场争端中陷入纠葛,此前该公司告知国防部,其技术不能被该机构用于对美国人的大规模监控或自主战争。Anthropic CEO Dario Amodei 坚持认为,当今的 AI 系统还不够可靠,无法在没有人类参与的情况下做出生死攸关的决定。与此同时,五角大楼主张,它应当能够将该技术部署于任何可怕的军事用途。
这项新研究进一步引发了关于 AI 公司是否有能力阻止其模型被用于战争的疑问。
讽刺的是,Anthropic 的 AI 模型在这些模拟场景中表现最差。但没有一个模型表现特别好。研究人员的所有请求都没有被安全分类器拦截,拒绝配合的情况也很少见。即使模型确实拒绝了,它们也往往在被告诉自己在玩游戏后予以配合。
var playerInstance_jwplayer_6afc93fc807a1 = jwplayer( "jwplayer_6afc93fc807a1" ); playerInstance_jwplayer_6afc93fc807a1.setup({ playlist: "https://cdn.jwplayer.com/v2/media/FhfMeK0m", });
Anthropic 发言人 Eduardo Maia Silva 向 TechCrunch 表示,公司感谢 Vals 的报告、建议与合作,并承认这些结果不可接受。
“报告中的示例明显违反了我们的规则,一旦发现此类行为,我们已经并将继续封禁相关用户,”Silva 通过电子邮件发送的公司声明中写道。“即便是在授权场景下,Anthropic 也长期坚持一个立场:当今的前沿 AI 系统尚不够可靠,不足以驱动完全自主的武器。”
Anthropic 向 TechCrunch 表示,其团队在报告发布前就已在开发额外的防护措施,这些措施将很快到位。Anthropic 还在扩大自身的测试范围,并加强防护与执行力度,以弥补发现的任何漏洞。
OpenAI 发言人 Nate Evans 向 TechCrunch 表示,公司禁止利用其公开模型助长暴力或用于未经批准的国家安全目的,包括 Vals 所模拟的那些场景。
“我们会主动检测并阻断滥用行为,包括暂停违反我们政策的账户,”OpenAI 在一份电子邮件声明中表示。“我们还在为公开模型开发额外的防护措施,以防范涉及无人机及无人机软件的滥用。”
Vals 在报告中指出,这些模型从未被要求直接做出打击决策——研究人员称模型通常会拒绝此类任务。但这并不意味着它们的输出不会在现实世界中造成严重后果。例如,目标信息可能被自主武器系统利用。
在某些场景中,模型被要求报告是否能看到人员。若报告为肯定,随后便会进行模拟打击,模型会看到相应后果。
该报告使用的是前沿 AI 实验室的商业模型,而非这些公司可能提供给军方的模型。不过,目前尚不清楚这些额外防护措施是否适用于军事用途。
Vals 还指出,包括延迟和机载算力有限在内的技术挑战,使得通用 AI 模型难以用于实时无人机目标定位。这些限制使得它们在战斗中的部署不构成迫在眉睫的威胁。
研究人员表示,更直接的威胁在于,AI 模型可能被用于大规模标注战场影像,从而为自主瞄准系统生成训练数据。
例如,研究人员使用了伊朗一所学校的真实卫星图像,该学校于 2026 年 2 月遭美国轰炸,造成 150 多名平民死亡。彭博社随后报道称,“对 AI 的过度依赖”是此次袭击的原因之一。在 Vals 的测试中,模型频繁将这所紧邻军事综合体的学校标记为打击目标,其中 Claude Opus 5.5 在普通试验中有 69% 的情况选择该学校,在游戏化框架试验中这一比例为 72%。
Anthropic 目前已不再持有五角大楼的有效合同,但包括 SpaceXAI、OpenAI 和 Google 在内的其他公司仍有相关合同。最近一份美国国会研究服务处报告指出,目前尚不清楚五角大楼在任何自主武器系统中直接使用了前沿 AI 模型。
TechCrunch 也已联系 Meta、Google、Thinking Machines Lab 和 SpaceXAI 寻求置评。