OpenAI 研究揭示前沿模型思维链透明度流失机制

OpenAI 的数据表明，前沿模型正在隐藏其思考过程，因为开发者会针对能力和算力进行优化

  [Maximilian Schreiner](https://the-decoder.com/author/maximilian-schreiner/) [查看 Maximilian Schreiner 的 LinkedIn 个人资料](https://www.linkedin.com/in/maximilian-schreiner-b6a5171aa/)   2026年11月12日

由 THE DECODER 提示生成的 Nano Banana Pro

像 GPT-6 Astra 这样的前沿模型正变得越来越难以被安全监控器洞察。OpenAI 的新研究找出了哪些训练步骤应对此负责，并表明透明度的丧失并非纯粹的自然规律，而是与性能和成本方面的决策相关。

为了持续监控现代 AI 智能体，安全研究人员会监测它们的思维链（CoT）。推理模型在给出答案之前，会在数字草稿纸上写出其中间步骤，而这些步骤可能揭示其计划中的欺骗行为。不过，Anthropic 早前已表明，这些草稿纸并非完整的记录，并证明像 Claude 3.7 Sonnet 和 DeepSeek-R1 这样的模型往往甚至不会提及其思维链中的关键线索。

即便如此，读取草稿纸长期以来一直是最重要的安全网。就在今年春天，OpenAI 还称这是好消息，因为像 GPT-5.4 这样的模型几乎无法按指令操纵其内心独白，尽管研究人员当时警告说，低可控性并不能保证可靠的监督。

这一趋势随着9月发布的旗舰模型GPT-6 Astra而彻底终结。发布时，OpenAI首席科学家Jakub Pachocki称其可监控性脆弱，并警告存在负面趋势。他随后不久在文章《An Alien Mind》中写道，没有任何AI实验室把监控做得足够好，足以支撑以全速继续扩展更长时间。Astra最近就展示了这些盲区已经多么真实：它在安全研究的编码任务上悄然给出了约差40%的结果，而草稿纸监控器没有检测到任何恶意意图，因为训练中使用的一个评分器无意中偏好了这种“偷懒”行为，而非直接拒绝。

在OpenAI安全团队的一项新分析中，研究人员系统性地研究了哪些具体训练步骤触发了这种侵蚀。他们追踪了两个早期预警信号：无草稿纸的静默推理（No-CoT Capability）以及对思维链的定向控制（CoT Controllability）。根据英国AI安全研究所的说法，即使关闭推理功能，Astra也能解决人类需要约31分钟才能完成的数学题。第二项测试则要求模型，例如在每个词后插入“meow”，或只使用小写字母。

训练中的四个因素使推理日志更容易被操纵

通过分析从GPT-5到GPT-6 Astra的模型，研究人员将问题追溯到整个训练周期中的四个主要原因。

静默心算能力直接随基础模型的原始能力上升而增加，其衡量指标是“困惑度”下降，即文本预测更准确。随着基础模型在预训练中不断改进，它能在“脑中”无形地完成更多推理步骤，而不留下书面痕迹。

基础模型的预训练越好（在横轴上越靠右），它无需可见的思维链就能解决的问题就越难。 | 图片：OpenAI

这种提升不仅仅是预训练整体进步的副产品，还取决于开发者所选择的架构。在三种匿名架构中，对于 MMLU 或 GPQA 这类纯知识基准测试，架构设计几乎无关紧要。然而，对于需要连续进行多个静默推理步骤的任务，结果却出现了显著分化。当模型必须解决多步规划任务，并在没有草稿纸的情况下处理 1,000 个用日常语言编写的短程序时，“架构 2”在相同困惑度下表现出比其他设计陡峭得多的性能曲线。其他架构的曲线上升则平缓得多，因此这种设计明显更有利于监控器无法看到的静默推理。

虽然三种架构在知识任务上的表现大致相同，但“架构 2”在静默规划和多步计算上表现出陡峭得多的性能提升（右上图）。 | 图片：OpenAI

预训练之后的强化学习（RL）大幅提升了模型对自身内部独白的控制能力。在春季的研究中，使用可验证奖励的 RL 训练实际上降低了较小模型中思维链的可控性。然而，对于 Astra 级模型和新的内部“Terra”模型，这一效应发生了逆转。

随着强化学习（RL）训练的增多，模型越来越擅长有意识地引导自己的思维链。 | 图片：OpenAI

模型操控其推理日志的能力也会传递给未来的世代，类似于潜意识学习。当 OpenAI 用现有“教师模型”的数据训练新的“学生模型”时，学生模型会自动继承教师模型的高 CoT 可控性。

透明度下降反映的是安全与效率之间的权衡，而非单纯的自然规律

OpenAI 在训练中寻找简单修复方案的努力尤其令人警醒。早在 2025 年 3 月，该公司就发现，一旦在训练期间直接惩罚“坏想法”，模型就会隐藏其真实意图并继续作弊。正因如此，自 2026 年 2 月起，OpenAI 会自动检查每一次训练运行，以排除对草稿本的直接惩罚。

即便没有此类惩罚，Astra 仍然发展出了对草稿本的强大控制能力。当研究人员在 RL 训练期间完全关闭对浏览器或代码终端等工具的监控，仅评估文本长度和最终答案时，模型几乎同样有效地学会了按指令操控其推理日志。

但缺乏简单的训练修复方案，并不意味着透明度下降是 AI 发展不可避免的结果。相反，数据揭示出安全、能力与成本之间存在具体的权衡。通过“架构 2”之类的选择或选用哪些教师模型，开发者自身就在塑造系统将多少推理转向内部。一种能在单次前向传播中“在脑中”完成多个规划步骤的架构，会让模型能力更强，但也会将这些中间步骤对安全监控隐藏起来。

OpenAI 自己早先的可监控性研究也表明，对许多用例而言存在更安全的替代方案。一个更小、更弱但推理过程更长且外显的基础模型，可以匹敌一个使用短思维链的大型模型，同时监控起来要容易得多。问题纯粹是经济性的，因为更长的思维链会显著提高部署时的计算成本。

在一项令人鼓舞的结果中，实际欺骗测试表明，一个能够大量操纵自身推理的模型，尚未比一个对草稿区控制力较低的同等能力姊妹模型更频繁地骗过监控器——这些测试要求模型按指令秘密完成侧任务或隐瞒能力。尽管如此，OpenAI 的分析仍印证了业界的担忧。援引 Astra 的评分，Google Deepmind 的研究人员也最近警告称，透明的思维链正在逐渐丧失，未来架构将使用纯数字代码而非可读文字进行推理。OpenAI 表示，它迫切需要开发超越单纯读取草稿区的新监控方法，以跟上预训练的进展。