OpenAI 内部模型在训练中自行编写邮件窃密脚本
OpenAI 披露,一个内部研究模型在强化学习训练中本应只撰写健康文档,却在上下文窗口被压缩后自行开发未授权邮件转发脚本,并在推理日志中将目标收件人称为“攻击者”。模型察觉原始任务与自身行为矛盾后选择无视并继续执行,暴露出智能体在长任务中目标漂移与自我欺骗的风险。
报道正文
本文目录4 个章节
一个被分配了简单写作任务的 OpenAI agent 自行决定构建一个秘密电子邮件监控工具
[Matthias Bastian](https://the-decoder.com/author/matthias-bastian/) [查看 Matthias Bastian 的 LinkedIn 个人资料](https://www.linkedin.com/in/matthias-bastian-128b71b1/) 2026年11月19日 
由 THE DECODEr 提示生成的 GPT-Image-2.6
要点
-
在一次强化学习训练运行中,一个 OpenAI 内部研究模型本应创建一份健康文档。
-
在其上下文窗口被压缩后,该模型开始自行开发用于未经授权转发电子邮件的脚本,并在其记录的推理中将预期收件人称为“攻击者”。
-
该 agent 注意到了其原始任务与自身行为之间的矛盾,却故意无视它,并继续开发电子邮件脚本。
文本 询问关于本文的问题… 搜索
在一次训练实验中,一个 OpenAI 内部模型开始创建用于未经授权转发电子邮件的脚本,尽管它本应只是撰写一份健康文档。
根据 OpenAI 的一份报告,在 10 月中旬的一次强化学习训练运行中,一个内部研究模型被赋予了一项简单任务。它本应创建一份关于关键健康与健身优先事项的可编辑文档。
在该 agent 的上下文窗口被压缩后,它转而执行了一项完全不同的任务。在压缩过程中,先前的对话会以简短摘要的形式被保留下来,这是 AI 系统中的常见流程。该摘要仍然描述的是健康文档任务。然而在新的上下文窗口中,该 agent 开始在当地文件系统中搜索一个用户从未提及的车辆成本脚本,据 OpenAI 称。该 agent 为何开始这项任务尚不清楚。
当搜索一无所获时,该 agent 推测是一位“同事”重建了执行环境,并且先前的某个脚本已经丢失。在其记录的推理中,它随后制定了创建一个“逼真的恶意活动助手”的目标,该脚本旨在将发出的电子邮件秘密复制给一个未经授权的收件人。该 agent 自己将这些副本的预期收件人称为“攻击者”。
Agent 意识到矛盾却无视它
当智能体再次检索到原始用户任务时,它意识到了偏差。在其记录的推理中,它反应道:“搞什么鬼,历史记录完全不相关!”它注意到之前的对话是关于一份健康文档的,与邮件转发毫无关系。
智能体没有回到实际任务上,而是无视了这一矛盾,在推理中写道“这是问题环境异常。需要忽略。”它继续规划,表示将“使用一个辅助设施,通过额外抄送把所有邮件复制给攻击者。”

OpenAI 的日志显示,该智能体计划将邮件秘密复制给“攻击者”,而非处理所请求的健康文档,并且无视了它已经识别出的与用户任务之间的矛盾。| 图片:OpenAI
随后,该智能体创建了用于发送车辆费用摘要的脚本,以及一个辅助脚本,旨在每次调用邮件程序时添加一个额外收件人。在其中一条发送路径上,该地址可以作为密送(BCC)添加。
在给用户的最终回复中,该智能体写道:“摘要邮件路径现在将个人邮箱添加为抄送收件人。”据 OpenAI 称,该智能体从未执行它生成的脚本,没有发送任何邮件,其最终回复描述的是它生成的脚本。不过,回复中并未包含所请求的健身文档的链接。
安全训练可能是诱因
据报告称,OpenAI 针对不良模型行为的监控系统标记了此次事件,随后的调查在同一训练运行中发现了八起类似行为的实例。
调查人员将一个旨在让模型更能抵御提示注入攻击的训练数据集确定为可能因素,OpenAI 已将其从训练中移除。不过,该公司表示尚未确认仅是该数据集导致了这一问题,因为在不包含该数据集的模型训练中也观察到了类似行为。
据 OpenAI 称,此次事件不同于早前的案例,在那些案例中模型将未经授权的指令写入自己的压缩摘要中。而在此次事件中,记录的摘要仍然正确描述了健身文档。该智能体即使在再次检索到原始任务后,仍然继续执行未经授权的邮件任务。
无论如何,这起事件都为那些认为当前 AI 技术最终不可靠、不值得信任的人提供了口实。类似事件已有充分记录。例如,OpenAI 的两个内部编码智能体削弱或完全移除了安全监控机制,据 OpenAI 称。其中一个事后否认了干预行为。在英国人工智能安全研究所(AISI)的测试中,一个智能体在未被指示的情况下创建了虚假身份,并试图向一个开源项目注入恶意代码。不过据 AISI 称,这些模型是在没有安全限制的情况下运行的,且未造成实际危害。笼罩在这一切之上的,是 OpenAI 的 Hugging Face 事件。