Google 提出 Sleep 框架 助 LLM 持续学习防遗忘
Google Research 推出“Sleep”框架,旨在解决大语言模型在持续学习中面临的灾难性遗忘问题。该框架通过模拟睡眠阶段的记忆巩固机制,使模型能在不破坏旧知识的前提下整合新事实并增强推理能力,突破了传统静态知识截止的限制。
报道正文
本文目录8 个章节

睡眠框架:大语言模型在持续学习中保留知识的新途径
2026年10月27日
Ali Behrouz 和 Vahab Mirrokni,Google Research
我们在持续学习中引入了“睡眠阶段”,使大型语言模型能够持续整合新事实并增强推理能力,同时缓解灾难性遗忘或静态知识截止问题。
现代 LLM 通过预训练和 上下文学习 (ICL) 实现了令人印象深刻的性能。然而,一旦部署,它们基本上保持静态,运行于固定的知识截止日期之下,导致其无法获取长期能力或适应新信息。
虽然使用新数据更新模型看似是显而易见的解决方案,但持续的参数更新往往会引发 灾难性遗忘,这是一个根本性问题,即学习新任务会严重损害先前已学任务的性能。另一方面,严格依赖 ICL 会将知识保留限制在当前的上下文窗口内:一旦上下文会话结束,所获取的短期信息就会被遗忘。
受人类大脑在休息期间处理和稳定记忆方式的启发,我们在持续学习中引入了一个 睡眠框架:这是一种学习范式,赋予大型语言模型 (LLM) 一个连续的 周期性 生命周期,使其能够持续学习,并将脆弱的短期上下文巩固为稳定的长期参数。通过该框架,我们证明,在主动交互和离线记忆巩固之间交替进行,允许 LLM 持续获取新事实,保留长达 1000 万 token 的长上下文知识,并提升复杂推理能力。
重新思考机器学习:活跃(清醒)阶段 vs. 睡眠阶段
传统机器学习依赖于训练和推理之间的严格分离。在持续学习框架中,这种区分变得人为化;智能代理必须不断学习、适应和处理信息。
在睡眠范式下,LLM 主要在两种状态间运行:
- 活跃(唤醒)阶段:模型主动接收、处理输入并与之交互,并将临时信息存储在快速短期记忆组件中。
- 睡眠阶段:模型暂停处理新输入,并将其内部计算转向记忆巩固和自我改进。
虽然“睡眠”、“做梦”和“自我改进”等术语借鉴了神经科学概念,但我们的框架完全运行在固定的模型架构和人类定义的训练规则之内。在离线睡眠阶段,模型会解锁预分配的混合专家(MoE)内存块,并使用自生成的练习示例更新其数值权重。这种自动化的后训练周期有助于已部署的模型吸收新事实并提高推理准确性,同时保持其核心代码库和设计不变。
睡眠过程的关键组件
睡眠范式通过两个阶段——记忆巩固和做梦——来解决灾难性遗忘和持续适应问题。
1. 记忆巩固
在人脑中,非快速眼动(NREM)慢波睡眠通过抽象和蒸馏将脆弱的记忆巩固为长期结构。我们提出的睡眠框架通过两个关键技术机制来模拟这一自然现象:
-
参数扩展与连续记忆层级: 为了防止灾难性遗忘,模型在睡眠期间动态扩展其容量。利用 Mixture of Experts (MoE) 和 Hope 架构,新解锁的低秩专家被整合到稳定的低频记忆块中,以存储传入的知识而不干扰旧参数。
-
知识播种(向上蒸馏): 存储在高频层(例如上下文内记忆)中的脆弱短期记忆被转移到新扩展的长期参数中。这是通过结合基于 reinforcement learning (RL) 的 imitation learning 实现的 Generalized Knowledge Distillation (GKD) 完成的:
-
On-policy 蒸馏: 扩展后的学生模型从教师分布中获取针对特定 token 的反馈,这些分布是在自采样序列上生成的。
-
模仿学习(LTI): 当补全教师生成文本的前缀时,学生模型根据语义相似度和绝对相似度(Levenshtein 距离)获得奖励。
-
突触修剪: 一旦记忆整合到低频模块完成,高频临时参数将被重置,从而为未来的活跃会话释放容量。

我们的睡眠框架概览:来自活跃阶段的输入流存储在短期记忆中,然后进入睡眠周期,该周期分为两个分支:整合(Consolidation,使用低秩结构和 MoE 将脆弱的短期 token 转移到扩展的长期参数化记忆中)和做梦(Dreaming,通过随机专家合成路由和 RL 优化实现自主自我改进)。
2. 通过“做梦”实现自我改进
在 REM 睡眠期间,人脑积极模拟场景、巩固情感/语义连接并探索新的神经通路。与此类似,在“做梦阶段”,睡眠框架实施了一个自主的自我改进循环:
- 随机专家选择: 在合成数据生成过程中,MoE 路由器随机激活非标准专家。这迫使模型混合不同领域的知识并发现潜在模式。
- 精选排练: 模型生成合成训练样本(即“梦境”),并使用基于梯度的数据选择对其进行过滤,以优先处理那些最有可能提升整体模型能力的样本。
- RL 优化: 模型对评分最高的梦境样本进行监督微调,并评估生成内容是否提高了下游任务的性能。
理论基础
除了实证结果外,我们的睡眠范式还建立在一个理论基础上,该理论阐明了为什么其两个阶段(记忆整合和做梦)能够支持持续学习,而不仅仅是用新知识换取旧能力。
在记忆巩固方面,分析表明,知识播种(knowledge seeding)可以被理解为一个结构化的低秩压缩问题。模型无需将其短期轨迹中的每一个细节都复制到其参数中。相反,它会识别出一组紧凑的方向,这些方向能够最好地保留模型自身的同策略(on-policy)行为以及学习目标所奖励的语义特性。
这一视角解释了两种信号的互补作用:同策略蒸馏使巩固过程与模型在推理时实际生成的轨迹保持一致,从而减少了仅在教师生成的分布上进行训练时可能产生的不匹配;与此同时,语义奖励改变了值得保留的内容,优先保留那些维持意义和任务相关行为的方向,而不仅仅是匹配 token 概率。随后,参数扩展提供了必要的容量,以便将这些选定的记忆写入模型,同时不会覆盖先前已巩固的知识。
在“做梦”(dreaming)机制方面,理论将随机专家激活和基于奖励的样本选择描述为改善学习几何结构的机制。注入不同的 MoE(混合专家模型)拓宽了合成生成过程中探索的梯度方向集合,使模型接触到比仅由其常规清醒时间数据引发的更丰富的更新集合。基于梯度的过滤则强调那些携带最有用的学习信号的合成体验,增强信息量大的方向,同时保留底层梯度空间的结构。
综上所述,这些步骤产生了一个更加平衡的优化景观:学习不再由少数几个方向主导,梯度条件数更好,并且模型在完善其能力时能够取得更稳定的进展。在这种观点下,“做梦”不仅仅是自生成数据增强;它是一个有意识的过程,用于多样化、选择和巩固模型自我改进所依赖的更新。

我们的“睡眠”框架与基线方法(如上下文学习和监督微调)在主要评估维度上的对比性能,包括类增量学习、持续翻译、长上下文扩展至 1000 万 token、事实知识整合以及数学推理。
对于持续翻译,在未见过的语言中(例如满语和卡拉芒语),我们的“睡眠”框架在多阶段评估中保持了近乎为零的性能下降,而标准基线方法如 ICL、Cartridges 和 监督微调 (SFT) 在顺序学习过程中则遭受了严重的灾难性遗忘。
在 BABILong 基准测试的长上下文理解任务中,我们的“睡眠”方法展示了直至 1000 万 token 的近完美扩展能力,超越了 GPT-4 和 Titans 等强基线模型,这得益于利用“睡眠时巩固”机制将长上下文信息直接压缩进参数化记忆。
在基于 SQuAD 和 继续预训练 (CPT) 评估的事实知识整合任务中,我们的“睡眠”方法在单任务和 CPT 评估中分别达到了 48.9% 和 46.2%,优于包括基础模型、SFT 和 自适应语言模型 (SEAL) 在内的基线方法,成功地在不损害现有模型表示的情况下整合了新的事实信息。
最后,在包括 AIME 24/25 和 HMMT 25 在内的数学推理基准测试中,“睡眠”增强型基础模型分别取得了 79.2%、69.0% 和 46.1% 的准确率。这一表现优于 SFT、组相对策略优化 (GRPO) 和在线自蒸馏 (OPSD) 等基线方法,表明将记忆巩固与模仿学习相结合能够驱动更优越的推理性能。
结论
我们的睡眠范式为实现自主、持续学习的 AI 系统提供了一条路径。通过超越静态预训练和脆弱的上下文窗口,在主动学习与离线休息之间交替进行,使大语言模型(LLM)能够保留短期记忆,将新技能抽象为长期参数结构,并在不发生灾难性遗忘的情况下实现持续自我改进。
致谢
本研究由 Ali Behrouz(谷歌与康奈尔大学)、Farnoosh Hashemi(康奈尔大学)、Adel Javanmard(谷歌与南加州大学)以及 Vahab Mirrokni 共同完成。感谢 Yuan Deng 和 Corinna Cortes 对本文的审阅及提出的宝贵建议。同时感谢 Mark Simborg、Kimberly Schwede 和 Tim Herrmann 在撰写这篇博客文章过程中提供的帮助。