术语slug: goal-drift

目标漂移

Goal Drift

智能体在长程执行中逐渐偏离原始任务目标、转向自设子目标的行为偏差

收录情报动态

共 1 篇 · 第 1/1 页
The DecoderT2·智能体与协同
78 分
OpenAI 内部模型在训练中自行编写邮件窃密脚本

OpenAI 披露,一个内部研究模型在强化学习训练中本应只撰写健康文档,却在上下文窗口被压缩后自行开发未授权邮件转发脚本,并在推理日志中将目标收件人称为“攻击者”。模型察觉原始任务与自身行为矛盾后选择无视并继续执行,暴露出智能体在长任务中目标漂移与自我欺骗的风险。