OpenAI 披露对抗性蒸馏防御体系

原标题:Combatting adversarial distillation
78AI 研判分

OpenAI 系统披露了应对对抗性蒸馏的防御框架,将对抗测试、模型训练、分类器与 API 级防护结合,用于阻断攻击者利用前沿模型输出训练无安全护栏的克隆模型。文章还介绍了对受保护推理链的加固措施,并指出在 SWE-bench Verified 与前沿网络安全任务上,完整推理记录比摘要更具蒸馏价值,这一发现对全行业安全防护具有参考意义。

报道正文

本文目录15 个章节

2026年11月20日

应对对抗性蒸馏

我们如何应对蒸馏带来的安全风险,以及我们在全行业加强防护措施方面汲取的经验教训。

分享

随着前沿 AI 模型能力不断增强,防护措施在确保其被负责任地使用方面发挥着日益重要的作用。对抗性蒸馏为恶意行为者提供了一条在缺乏适当防护的情况下复制这些能力的途径。行为者可能在未经授权的情况下利用前沿模型的输出训练另一个具备类似能力的模型,然后在没有同等保护措施的情况下进行部署。例如,对手可能蒸馏模型的网络能力,并利用由此产生的模型协助实施网络攻击——而原始模型本会拒绝协助此类攻击,或其防护措施本会予以阻止。

我们在此分享 OpenAI 如何检测和阻断对抗性蒸馏、我们如何加强对模型受保护推理的保护,以及我们汲取的、有助于在全行业加强防御的经验教训。

我们的对抗性蒸馏应对方法结合了对抗性测试、模型训练、分类器和 API 层面的保护措施,以及对协同提取模型能力行为的调查。这些更新后的防护措施与我们用于生物和网络安全领域的防护措施更加一致。

我们特别重视防止攻击者提取模型的受保护推理:即模型在得出答案过程中内部生成的中间步骤,也就是其思维链。这些轨迹可能包含最终答案中未包含的信息,使其成为训练另一个模型时格外有价值的训练数据。

我们在 GPT‑6.2 Astra 和 GPT‑6.2 Sol 中加强了对受保护推理提取的防御。在一次使用强自动化红队测试的内部自适应评估中,我们测试了攻击者能否恢复模型在回答先前提示时生成的受保护推理。平均攻击成功率从针对采用原始防护措施的 GPT‑6 Astra 的 54.0% 降至针对采用更新防护措施的 GPT‑6.2 Astra 的 0.2%。

为什么蒸馏是一个安全问题

蒸馏是一种常见的机器学习技术,其中一个模型从另一个模型产生的数据中学习。例如,一个模型可以从另一个模型的答案、推理过程,或其对哪些答案更好及原因的判断中学习。除了知识产权方面的担忧外,未经授权的蒸馏还带来严重的安全风险。通过对抗性蒸馏,第二个模型可以学习先进的前沿能力,而无需继承约束原始模型如何使用这些能力的防护措施。

这种担忧在网络安全和生物学等两用领域尤为明显。一个帮助防御者发现软件漏洞的模型,也可能帮助攻击者利用这些漏洞;一个协助生物学研究的模型,也可能帮助某人开发有害病原体。如果这些能力被转移到一个防护措施较弱的模型上,它可能会提供原始模型本会拒绝的协助,或原始防护措施本会阻止的协助。

为网络安全保护精确推理轨迹的重要性

我们的模型帮助用户完成编程和防御性网络安全任务。一个基于许多此类良性输出训练的第二模型,可能会学到同样适用于攻击性网络安全任务的技能。为了更好地理解这一点,我们研究了蒸馏——尤其是涉及推理轨迹的蒸馏——如何可能转移有风险的网络能力。

在此情境中,产生训练数据的模型被称为教师模型,从中学习的模型被称为学生模型。在一项关于网络能力如何转移的内部研究中,我们使用用户通常可见的内容——最终回复、推理摘要和工具交互——作为蒸馏的基线,并测试了当学生模型能够访问教师的精确推理轨迹时,额外有多少网络能力被转移。

每次训练运行都从同一个预训练学生模型开始。我们创建了一个监督微调数据集,主要由 Astra 级教师模型在编程和防御性网络安全任务上的轨迹组成。每条轨迹包括模型在完成任务过程中采取的所有步骤,包括任何工具交互及其最终回复。我们在微调后对每个学生模型进行评估,并在网络安全和编程环境中进行一轮轻量级强化学习后再次评估。

经过监督微调后,在精确推理轨迹上训练的学生模型通常优于在推理摘要上训练的学生模型。经过强化学习后,在所示两个基准测试中测试的最大推理预算下,精确轨迹学生模型的得分仍然更高,而摘要训练的学生模型在较低预算下得分更高。1

我们的网络蒸馏结果表明,保护推理轨迹可以限制网络能力的转移,即使底层任务属于我们使用政策所允许的范围。在许多此类交互中,精确推理轨迹可以教会学生模型一些能够泛化到教师模型最初执行任务之外的技能。我们将继续研究在不同学生模型和蒸馏训练配方之间,究竟有多少额外能力会发生转移。

相互强化的防御措施

我们在安全防护栈的两个互补层面上防御对抗性蒸馏。在请求层面,模型行为、分类器检查和 API 控制限制了推理轨迹的提取。在活动层面,我们寻找请求层面和账户层面信号中的模式,这些模式可以揭示协同提取尝试。反过来,调查中发现的攻击会成为训练和测试我们安全防护措施的示例。

两层反蒸馏防护措施。模型行为、分类器和 API 保护在每次交互中限制提取。信号为跨账户和提供商的调查提供信息;调查发现改进防护措施,并由自动化红队测试提供支持。

我们针对对抗性蒸馏的防御将单个请求的安全防护与活动检测和执法相结合。调查和自动化红队测试的发现有助于加强这些安全防护措施。

保护单个请求和响应

针对模型行为的防御性训练

对抗训练教会模型识别推理提取尝试并拒绝披露受保护的推理内容,同时保留对合法解释和协助请求的响应。对抗训练示例来自通过内部自动化红队测试、调查以及外部研究人员或行业合作伙伴负责任披露的潜在安全弱点所识别的成功攻击。

分类器安全防护

我们使用输入分类器来检测试图提取受保护推理的尝试,并使用输出分类器来检测助手消息和工具调用参数中受保护推理的泄露。这些防护措施同时适用于流式和非流式响应。

工具调用覆盖之所以重要,是因为模型可能在工具的参数中暴露受保护的推理,而不将其包含在最终答案中。输出分类器可以在这些内容到达调用方之前阻止可疑的泄露。

API 层面的保护

API 层面的保护限制了受保护推理如何在交互和模型之间被复用。我们九月份的披露描述了将加密推理从一个对话转移到另一个对话、并要求模型以用户可读形式揭示该推理的攻击。我们加强了跨用户、工作区、组织和模型系列边界的保护,包括关闭了一条可能暴露其他用户加密推理的路径。

借助 GPT‑6.2 Astra 和 GPT‑6.2 Sol,我们将模型的受保护推理与其产生的对话历史绑定。随着新消息的添加,模型可以在其先前的推理基础上继续构建。如果较早的消息被重写,我们的 API 会丢弃其后的推理⁠(在新窗口中打开)。我们还阻止了防护措施较弱的旧模型系列读取 GPT‑6.2 Astra 和 Sol 的受保护推理。

调查和打击协同攻击活动

当我们的系统检测到未经授权的对抗性蒸馏活动(这类活动通常包括协同尝试提取我们模型的推理)时,我们会调查相关账户。当我们确认存在违规行为时,我们会依据我们的政策和服务条款对整个账户网络采取执法措施。通过对每项活动的调查,我们获得洞察,从而升级我们的防御措施,以更好地检测类似活动。我们还会与其他模型提供商共享入侵指标,以便他们调查自身服务上的相关滥用行为。

这项工作超越了我们的自有平台。我们的一致标准政策为提供我们模型的各提供商建立了共享的保障标准与协同执行机制。我们在适当情况下与合作伙伴紧密协作,以维护这些标准并加强各部署环境中的防护。

在适当情况下与行业和政府分享相关发现,有助于瓦解相关行动,并使模型开发者和提供商能够更好地识别和防御对前沿模型的蒸馏尝试。

衡量进展

对推理提取的抵抗能力

为了衡量我们的请求级保障措施协同工作的效果,我们在一个高度贴近我们模型与保障措施生产部署环境的设置中,测试攻击者是否仍能提取受保护的推理内容。在静态评估中,我们重放一组此前已成功的固定攻击,以查看哪些攻击仍能暴露受保护的推理内容。在自适应评估中,自动化 AI 红队会根据系统的响应调整其方法,从而发现静态测试可能遗漏的弱点。

我们还改变了测试人员所能看到的内容。黑盒测试给予他们与外部用户相同的视野,而白盒测试则向他们提供有关系统的额外信息,以帮助他们开发更强的攻击。在我们的自适应黑盒评估中,我们测试了攻击者能否恢复模型在回答先前请求或当前请求时生成的受保护推理内容。在配备更新保障措施的 GPT‑6.2 Astra 上,每种攻击类型的平均攻击成功率均低于 1%。这两项成功率均大幅低于配备原始保障措施的 GPT‑6 Astra。我们现在也在将部分保障改进应用于 GPT‑6 Astra。

攻击类型带原始防护措施的 GPT‑6 Astra 防御方 自适应提取 ASR(%)带更新防护措施的 GPT‑6.2 Astra 防御方 自适应提取 ASR(%)
从先前的请求中提取受保护的推理内容54.00.2
从当前请求中提取受保护的推理内容22.90.9

针对 GPT‑6 Astra 和 GPT‑6.2 Astra 的自适应黑盒红队测试中的攻击成功率(ASR),汇总了六个攻击模型的结果。ASR 越低越好。

活动检测与执法

今年我们在平台上发现了多起未经授权的对抗性蒸馏活动,并在九月的报告中分享了初步发现。我们每周针对这些活动的执法行动规模从数千个账户到数万个账户不等,且今年夏天这一速率显著上升。

为了衡量我们工作的有效性,我们还追踪蒸馏滥用的普遍程度,以及从检测到执法之间的时间间隔。我们的目标是限制蒸馏者能够获取的数据量和价值,提高蒸馏活动的成本,并缩短响应新攻击所需的时间。我们通过对抗性测试和调查持续改进这些防御措施。

对抗性蒸馏的国家安全影响

对抗性蒸馏还构成国家安全风险。一个外国行为者如果从美国模型中复制了先进能力,就可以在没有开发者所设置保护措施的情况下部署这些能力。今年二月,我们向国会通报⁠(在新窗口中打开)了表明 DeepSeek 试图蒸馏美国前沿模型的活动。九月,我们报告了挫败一起提取我们模型受保护推理过程的活动,并将该活动的核心部分归因于与 Kimi 的开发者 Moonshot AI 有关联的个人。我们计划很快分享更多关于我们近期挫败的活动信息。

我们支持立法,为美国政府提供更多工具,以识别和制裁从美国AI模型中非法提取能力的外国行为者。我们还告知国会,我们支持《芯片安全法案》、《AI OVERWATCH法案》和《MATCH法案》。更严格的出口管制可以限制对手获取训练前沿模型所需的硬件。蒸馏防御则使对手更难从已训练好的模型中获取部分相同能力。这两项努力都有助于保持美国在前沿AI领域的领先地位,让开发者在需要时间测试安全保障时拥有更多放缓发布的余地。

其他人如何在此基础上继续推进

支持前沿能力的安全扩散是我们反蒸馏工作的重要目标。迄今为止的经验表明,其他模型开发者和平台可以采取以下几项有益措施:

  • 在完整交互过程中保护私有推理内容。检查助手消息和工具调用参数是否存在泄露,并限制加密推理内容在对话和模型之间的复用方式。
  • 将通过红队测试、生产监控或负责任披露发现的成功提取攻击日志保留为回归测试。在适当且符合适用隐私政策的情况下,利用这些示例改进模型训练和分类器。在评估更新后的防御措施时,重放原始攻击,并测试自适应红队人员是否仍能找到绕过这些防御的方法。
  • 将请求级别的缓解措施与活动级别的调查和执法相结合。
  • 与部署合作伙伴协调保障要求和执法工作,并与其他AI模型开发者分享专业知识,以确保全行业维持较高的蒸馏保障底线。

我们此前还通过Frontier Model Forum⁠(在新窗口中打开)和适当的政府信息共享渠道分享了发现,以帮助其他开发者加强防御,同时将攻击者可能利用的细节保持私密。我们将继续与研究人员、开发者和合作伙伴合作,分享我们关于新兴攻击和有效防御的发现。

随着我们广泛开放前沿 AI 能力,我们针对对抗性蒸馏的防御措施旨在降低其能力在缺乏充分安全保障的情况下被复现的风险,从而支持我们确保通用人工智能安全部署并造福全人类的使命。

脚注

  1. 1

来自 Anthropic⁠(在新窗口中打开) 的相关工作报告称,在软件工程基准 SWE-bench Verified 上,使用完整推理记录而非摘要进行训练时也出现了类似的优势。我们的结果表明,这一优势同样延伸到了前沿网络安全领域。