开源模型网络安全辩论陷入僵局,恐致双输局面
文章指出当前关于开源大模型网络风险的讨论存在严重二元对立,导致政策制定可能同时损害美国 AI 竞争力并增加长期安全风险。作者认为各方观点(如前沿实验室主张禁令 vs. 防御派主张开放)缺乏对权衡与现实的细致考量,呼吁引入更多 nuance 以避免“双输”结局。
报道正文
本文目录3 个章节
我曾经历过太多关于开放模型网络风险的讨论——在这些讨论中,人们往往假设要么禁止开放模型是在真空中进行的(即认为不良行为者实际上会被阻止),要么认为中国构成威胁且不关心 AI 安全。这种思维定势让我担心,我们最终制定的政策既会削弱美国在 AI 领域的竞争力,又会增加长期的网络风险。除非人们能够接受细微差别、权衡取舍以及令人担忧的现实,否则我觉得我们将陷入一个双输的局面。
关于这场辩论中各方观点的文章已有很多,我将其总结如下:
- 开放权重模型对社会功能构成不可承受的风险,这一观点主要由前沿实验室领导层和美国国家安全界占据主导地位。
- 西方声音认为开放权重模型对国防至关重要,禁止它们将使世界变得更不安全,这一立场涵盖了从温和派到极端派的各类 AI 风险观点。我自己也属于这一阵营,此外还包括 Hugging Face 在 OpenAI 事件后发布的观点,以及像 Joshua Saxe 这样的其他人士。
- 中国公司继续发布具有强大网络能力的开放权重模型,其决策基于对本国社会和政府的风险评估。
这份列表也是按西方 AI 生态系统中信息量的多少或清晰程度排列的。以风险为导向的讨论占据了不成比例的关注度,其中包括一些我认为严重阻碍了跨越预设党派界限就此问题进行对话的工作成果。此外,很少有人真正尝试去理解中国公司如何评估风险——相反,大多数的论点都近乎人身攻击,例如“中国实验室不关心安全”。
“反开放权重联盟”的妄想
最近,“开放权重是危险的”这一群体发布了一份由 Anthropic 撰写的报告,探讨了 GLM-5.3 作为进攻性网络工具的风险。问题不在于他们所做的技术研究,这部分大体上是合理的,而在于未能深入探讨更广泛的关键问题:如果因网络风险而禁止开放模型会发生什么?或者,为什么中国公司认为这些模型可以安全发布?
这些问题我稍后会再回到,它们是理解当前 AI 风险的生态系统视角所必须回答的问题。所有政策行动都发生在一个多部分拼图之中,风险形态可以改变,但很少能获得普遍更优的结果。它们全都是权衡取舍。
Anthropic 的这种自我中心式写作风格,与我经常听到的另一种决定开放模型及整个 AI 命运的论调高度吻合——即机密简报。我与许多人进行过多次讨论,他们常说:“听着,我是支持开放模型的,但如果你看到我所看到的,由于 [XYZ 中国开源权重模型],外界正面临一场猛烈攻势,我们必须采取行动。”
这种观点与公开信息背道而驰。迄今为止,闭源模型被记录为大多数现有网络攻击的成因。作为一个试图做出有依据预测的人,OpenAI 模型引发众多攻击的证据是我关于网络风险形态的唯一数据(或者,你可以将范围扩大至包含所有 FelonyBench 的内容)。对此有几种可能的解释,而要得出真正的答案可能需要数年时间:
- 也许开源模型权重和带有某些安全防护措施的闭源模型 API 在易于滥用方面其实相差无几,而不是说 API 模型更接近安全。“开放危险,闭源安全”这一陈词滥调可能更接近于“开放不安全,闭源也不安全”。
- 也许愿意使用 AI 模型针对美国关键基础设施或强大但准备不足的机构发动“高调”网络攻击的不良行为者要少得多。闭源模型拥有更强的能力和更强的安全措施(理论上),但如果双方的安全措施都存在漏洞,那么能力更强这一因素可能在净危害中占据更重要的地位。
- 我对网络安全生态系统的运作方式还有很多需要学习的地方,因此我不会完全将其作为当前的推荐建议予以支持,但我认为这至少是一个合理的论点:作为网络防御的扩散工具,开源权重模型可能是我们在未来几年内防止危害的最佳工具。在许多领域,例如敏感政府机构,开源权重模型是近期唯一可以在隔离网络(air-gapped networks)上部署的工具。
这种局面似乎反映了难以厘清的混乱现实,而逻辑上的边界则更为清晰。我或许认同这样一个简单的现实:从极限情况来看,闭源模型作为一种具备更多防护层的技术工具,确实更加安全;但由于模型 API 的易获取性,它们在短期内实际上可能造成更大的危害。尽管如此,这些工具的大部分影响仍取决于其使用和控制方式。对如此关键的工具形成双寡头垄断,可能是最具定义性且风险最高的部分。这正是我们当前正在进行的辩论,随着智能的扩散,许多事情可能会随时间发生变化。
综合这些因素,我得出的结论是:如果你认为必须禁止最新的开源权重模型以减缓网络风险的扩散,那么你可能也需要将前沿闭源模型的公开 API 定为非法。目前针对闭源模型的安全保障体系比开源权重模型更强,但远非完美。极有可能的情况是,闭源模型的网络能力增长速度远超护栏性能的提升速度;如果在一个世界中禁止开源模型,同时允许闭源模型继续进步,这将扩大网络攻防之间的差距。如果我们剥夺了对强大开源权重模型的访问权限,那么要让防御者能够在其私有基础设施上使用强大的 AI 模型,就需要花费大量时间来构建相应的缓解措施。
解读中国的 AI 风险态势
中国重视 AI 安全。他们以一种完全内生、与中国文化和权力结构相关的方式进入了这一话语体系。这一拼图中的某些宏观要素在其他方面也有所体现,例如中国社会延伸至 AI 领域的技术乐观主义,以及中国政府对政治稳定的全面关注。当然,这些因素确实与网络安全等新兴 AI 风险相互交织。
中国处于其独特的 AI 风险动态之中,这种动态尚未达到美国过去几个月所目睹的那种白宫与前沿实验室之间政治博弈的显著程度。据我了解,中国公司必须向中国政府登记每一次重大模型发布。这包括评估环节,该环节最初源于对政府禁传信息的管控需求。目前尚不清楚这一框架是否已实质性扩展到网络或生物等风险领域。中国政府高度去中心化,来自实验室的信息需要通过现有结构才能传递至高层。
与此同时,中国面临着更为严峻的社会风险氛围:顶尖 AI 研究人员被禁止出境,且该行业正对外资关闭大门。综合来看,我推测在中国因引发任何国内危害而给个人带来的风险,要远高于美国——在美国,最坏的情况不过是你所在的公司被取缔。
总体而言,中国的政治监管介入似乎比美国更早。西方 AI 公司的核心原则接近于“阻止一个滥用 AI 的坏人,最好的办法就是成为一个善用 AI 的好人”。而在中国,这些公司在打造优秀工具方面显得更加务实,在许多情况下,他们致力于构建能够与其现有业务形成互补的工具。
我确实认为这些公司会考虑其工作对全球的影响。这些实验室显然受到激励,并且经常通过政府(至少在公开宣传中)被推动去尽可能激烈地竞争。对像 Kimi K3 这样的前沿模型进行全面的安全评估,可能需要耗费数千万美元的算力成本。这些实验室更愿意将这些资源留给训练环节。
正确的辩论焦点应该是:“在发布每个模型之前,实验室应在安全测试上投入多少算力的最低标准才是合理的?”毫无疑问,有理由认为这个标准应高于中国实验室目前的投入水平,或者至少他们应该对其所做的工作更加透明;但如果你说最低算力投入标准应与 Anthropic 或 OpenAI 持平,我会很难表示赞同。尽管 Anthropic 和 OpenAI 在建立优先关注风险理解的机构方面付出了巨大努力,但目前尚不清楚它们是否真的将风险管理置于商业价值和经济成功之上的优先级列表中。HuggingFace—OpenAI 事件所体现出的那种“撒手不管”的氛围,是我留下的持久印象之一。Hacktron 对 OpenAI 的黑客攻击就是一个例证——如果你的自家后院都漏洞百出,就很难成为世界值得信赖的网络合作伙伴。我相信许多实验室的个人正在努力工作以确保安全性,但我对整个机构的可靠性持保留态度。
四月份开放权重模型本可以没问题?
当 Claude Mythos 发布时,它被预览为一种新型网络武器,暗示如果落入错误之手,将导致大规模的社会动荡。
事实证明,这种看法是错误的。
从各项指标来看,真正跨越能力门槛的模型是 GLM-5.3。然而,几乎没有公开证据表明情况发生了重大变化,而该模型的权重发布已超过一个月。
事实上,我想更进一步说:如果 Claude Mythos 意外以开放权重形式发布,世界大体上仍会安然无恙。是的,网络安全事件无疑会增加,模型泄露对社会也是有害的,但这更像是一种风险的加速,而非阶跃式的突变。
这一波“开放权重恐慌”的主要倡导者实际上一直在做出一个可证伪的预测——即当前的开放权重模型将通过瘫痪我们的网络基础设施,造成前所未有的、实质性的 AI 危害。
基于我所掌握的所有证据(如上所述),他们注定要错了。至少现在,在围绕开放权重风险争论多年之后,我们终于开始获得一些真实的答案。
感谢 Rohit Krishnan 和 Joshua Saxe 对本文提出的反馈意见。