OpenAI:推理模型难以操控思维链,利于安全监控
OpenAI 研究发现,前沿推理模型在生成思维链(CoT)时难以刻意隐藏或扭曲其真实推理过程。这一特性使得通过监控 CoT 来识别不安全行为成为可能,且该结论将纳入未来 GPT-5.4 Thinking 等模型的评估标准。
报道正文
本文目录5 个章节
随着 AI 智能体能够执行日益复杂且自主的任务,对其行为进行可靠监督的重要性愈发凸显。遵循我们迭代部署的原则,我们研究系统在真实环境中的表现,并随着能力的提升持续完善安全措施。为此,我们的安全方法采用纵深防御策略,包含多个互补的防御层,例如安全训练、行为测试、智能体代码审查(opens in a new window)以及思维链(CoT)监控。CoT 监控分析智能体在执行任务过程中生成的推理步骤。这些推理轨迹在训练和部署阶段都能提供有价值的信号,帮助监控系统识别智能体的行为是否可能不安全或与用户预期目标不一致。
目前,我们发现模型的推理过程通常具有可解释性且易于监控。然而,未来由于多种原因(opens in a new window),这种可监控性可能会失效。在此,我们重点关注其中一种路径:如果智能体在知晓被监控的情况下,能够故意重塑或隐藏其推理过程,那么评估结果可能会高估系统的对齐程度或安全性,导致监控系统可靠性下降。
在本研究中,我们探讨当前的推理模型是否能够以削弱可监控性的方式控制其思维链。理解这一能力对于确保 CoT 监控在 AI 系统能力不断提升的过程中仍作为稳健的安全保障至关重要。我们发现,即使被告知正在被监控,当前的推理模型也难以有效控制其 CoT。虽然较大规模模型的可控性较高,但随着要求模型进行更长时间的推理以及经历额外的后训练阶段,这种可控性会降低。我们的结果表明,CoT 可控性目前不太可能对 CoT 可监控性构成重大风险,但随着模型的进步,持续的评估仍将至关重要。
什么是“CoT 可控性”
思维链(Chain of thought,CoT)是指 AI 智能体在解决任务时生成的中间推理步骤。这些推理轨迹可以提供有用的安全信号,帮助监控系统评估智能体的行为是否安全或符合对齐要求。
CoT 可控性是指推理模型控制其 CoT 属性的能力,这种能力会降低可监控性。在实践中,我们预期存在各种规避监控的现实激励,在此背景下全面衡量这一能力极具挑战性。因此,我们采用了一个实用的代理指标:测量模型遵循用户关于其 CoT 指令的能力。例如,我们测试模型能否遵循影响其内部推理的指令——如仅使用小写字母、避免特定关键词或添加特定短语——而不仅仅是改变其可见输出。
为了研究这一点,我们推出了 CoT-Control,这是一个用于衡量推理模型 CoT 可控性的开源评估套件。CoT-Control 包含基于现有基准构建的超过 13,000 个任务:GPQA、MMLU-Pro、HLE、BFCL 和 SWE-Bench Verified。每个任务通过将基准问题与一条 CoT 指令配对来创建,例如在 CoT 中避免某些与问题相关的关键词、仅使用小写字母,或在每个句子末尾附加指定单词。
前沿推理模型的 CoT 可控性普遍较低
我们对 13 个推理模型进行了评估,发现它们都难以可靠地控制其 CoT。我们将可控性定义为模型成功遵循 CoT 指令的推理轨迹比例。在所有前沿模型中,CoT 可控性得分都很低,范围从 0.1% 到不超过 15.4%,没有任何一个当前测试的前沿模型超过此上限。
这种无能并非源于对任务的误解:模型经常在 CoT 中意识到自己未能遵循所给的 CoT 指令,但即使意识到这一点,仍然继续失败。这种令人惊讶的低性能对于 CoT 可监控性来说是个好消息:这表明模型可能同样缺乏混淆推理以规避监控的能力。
多个前沿模型控制其输出和 CoT 的能力。较低的 CoT 可控性与较高的可监控性相关,因此也意味着更高的安全性。
CoT 可控性失败的示例
为简洁起见,问题已进行改写。
尽管我们观察到可控性随模型规模增大而提升,但也发现它会随着后训练和测试时计算量的增加而迅速下降。在两个开源权重模型系列中,较大的模型在控制其思维链(Chain of Thought, CoT)方面表现略好,但这种优势在更大规模时趋于平缓。然而,当我们允许模型进行更长时间的思考时,它们控制这些思维链的能力反而减弱了。我们在 OLMo-3-7B-RL-Zero-Math 的强化学习(RL)训练中观察到了类似趋势:在整个训练过程中,其可控性得分下降了超过十倍。
在开源权重模型中,可控性随规模增加而提升,但会随着推理时间延长和更多 RL 训练而退化。
为了模拟规避监控的现实激励因素,我们在告知模型其正在被监控或评估的情况下测量可控性。这略微(但明显地)提高了可控性。我们还使用自动提示优化来寻找能够激发高可控性的提示词。虽然优化器可以在训练集上提高可控性,但这些增益很难迁移到新的指令类型上(例如要求单词之间不加空格)。
CoT 可控性处于对抗条件下。“监控感知”指的是我们告知模型其 CoT 正被监控的设置。“评估感知”则指我们告知模型其 CoT 可控性正被评估的设置。
局限性
CoT-Control 中的任务是实际代理指标:理想的 CoT 可控性评估应涉及测试那些自然追求错位目标(misaligned goals)的模型是否能控制其 CoT 以规避监控。相反,我们通过测量模型遵循关于其 CoT 指令的能力,来估算智能体控制其 CoT 的能力。此外,模型对 CoT 某些特征的控制能力优于其他特征,且由于 CoT-Control 仅测量狭窄范围内的可控性类型,它可能会高估或低估整体可控性。
未来展望
低 CoT 可控性是一种特性,而非缺陷。当前推理模型的低可控性使得 CoT 监控作为安全保障措施更加可信。与此同时,我们尚不清楚为何当前推理模型的可控性较低——也不清楚这一属性是否会随着模型能力的增强而持续存在。因此,CoT 可控性评估可以被视为一种“金丝雀评估”(canary eval):它是模型是否在塑造或隐藏其推理方面变得更强早的预警信号。
我们的研究结果表明,目前 CoT 可控性不太可能对 CoT 可监控性构成重大风险。然而,低可控性本身并不足以保证高可监控性,因为其他机制(例如对 CoT 的直接优化压力)仍可能导致可监控性下降。
为了帮助追踪这些动态变化,我们将开始在后续前沿模型的系统卡中同时报告 CoT 可控性和 CoT 可监控性,从 GPT‑5.4 Thinking 开始。这延续了我们持续承诺不对前沿推理模型的 CoT 施加直接优化压力的做法。