谷歌提出嵌套学习范式,攻克持续学习遗忘难题
谷歌研究团队提出“嵌套学习”(Nested Learning)新范式,旨在解决大模型在持续学习中面临的灾难性遗忘问题。该理论借鉴人脑神经可塑性,通过多层级结构让模型在不牺牲旧知识的前提下动态获取新技能,为构建具备长期记忆能力的自主智能体提供了新的算法框架。
报道正文
本文目录9 个章节
过去十年间,机器学习(ML)取得了令人瞩目的进展,这主要得益于强大的神经网络架构及其训练算法。然而,尽管大语言模型(LLM)取得了巨大成功,一些根本性挑战依然存在,尤其是在持续学习方面——即模型在不遗忘旧知识的前提下,随时间主动获取新知识和技能的能力。
在持续学习和自我提升方面,人脑堪称黄金标准。它通过神经可塑性进行适应——这是一种非凡的能力,能够根据新的体验、记忆和学习改变其结构。若缺乏这种能力,个体将局限于即时语境(类似于顺行性遗忘症)。当前的 LLM 也存在类似的局限:它们的知识要么局限于输入窗口的即时上下文,要么局限于预训练期间习得的静态信息。
一种简单的做法是用新数据不断更新模型的参数,但这往往会导致“灾难性遗忘”(CF),即在学习新任务时牺牲了旧任务的熟练度。研究人员传统上通过架构调整或更优的优化规则来对抗 CF。然而,长期以来,我们将模型的架构(网络结构)和优化算法(训练规则)视为两个独立的部分,这阻碍了我们构建一个真正统一且高效的学习系统。
在论文《Nested Learning: The Illusion of Deep Learning Architectures》(发表于 NeurIPS 2025)中,我们提出了 Nested Learning(嵌套学习),旨在弥合这一差距。Nested Learning 不再将单个机器学习模型视为一个连续的过程,而是将其看作由相互关联的多层级学习问题组成的系统,这些问题被同时优化。我们认为,模型的架构与用于训练它的规则(即优化算法)本质上是同一概念;它们只是优化的不同“层级”,每个层级都有其内部的信息流动(“context flow”)和更新速率。通过识别这种内在结构,Nested Learning 为设计更强大的 AI 提供了一个全新的、此前不可见的维度,使我们能够构建具有更深计算深度的学习组件,从而最终有助于解决灾难性遗忘等问题。
我们通过一个名为 “Hope” 的概念验证型自修改架构来测试并验证 Nested Learning。该架构在语言建模方面取得了卓越的性能,并在长上下文记忆管理方面表现出优于现有最先进模型的能力。
Nested Learning 范式
Nested Learning 揭示了一个事实:复杂的机器学习模型实际上是一组相互关联的优化问题,这些问题彼此嵌套或并行运行。每个内部问题都有其自身的 context flow——即它试图从中学习的独特信息集合。
这一视角意味着,现有的深度学习方法本质上是在 压缩 其内部的 context flows。更重要的是,Nested Learning 揭示了模型设计的一个新维度,允许我们构建具有更深计算深度的学习组件。
为了阐明这一范式,我们考察了 associative memory(联想记忆)的概念——即基于某事物映射并回忆另一事物的能力(例如看到一张脸时回忆起名字)。
- 我们表明,训练过程本身——特别是反向传播过程——可以被建模为一种联想记忆。该模型学习将给定的数据点映射到其局部误差值,而该误差值可作为衡量该数据点有多“令人惊讶”或出乎意料的指标。
- 同样地,借鉴先前的研究(例如 Miras),诸如 Transformer 中的注意力机制等关键架构组件,也可以被形式化为简单的联想记忆模块,用于学习序列中 token 之间的映射关系。
通过定义更新频率(即每个组件的权重调整频次),我们可以将这些相互关联的优化问题划分为不同的“层级”。这一有序集合构成了嵌套学习(Nested Learning)范式的核心。
应用嵌套学习
嵌套学习的视角立即为我们提供了改进现有算法和架构的原则性方法:
深度优化器
由于嵌套学习将优化器(例如基于动量的优化器)视为联想记忆模块,因此我们可以将联想记忆的 principles 应用于它们。我们观察到,许多标准优化器依赖于简单的点积相似度(通过计算两个向量对应分量乘积之和来衡量它们的相似程度),其更新过程并未考虑不同数据样本之间的关系。通过将优化器的底层目标函数改为更标准的损失度量,例如 L2 回归损失(回归任务中常见的损失函数,通过预测值与真实值之差的平方和来量化误差),我们推导出了动量等核心概念的新公式,使其对不完美的数据更具鲁棒性。
连续体记忆系统
在标准 Transformer 中,序列模型充当短期记忆,负责保存即时上下文;而 前馈神经网络 则充当长期记忆,存储预训练知识。“嵌套学习”(Nested Learning)范式将这一概念扩展为我们所称的“连续体记忆系统”(Continuum Memory System, CMS),在该系统中,记忆被视为一个由多个模块组成的谱系,每个模块以不同的特定频率进行更新。这为持续学习构建了一个更加丰富且高效的记忆系统。
Hope:一种具备连续体记忆的自修改架构
作为概念验证,我们利用嵌套学习原则设计了 Hope,这是 Titans 架构的一个变体。Titans 架构是长期记忆模块,根据记忆内容的“意外程度”(surprise)对其进行优先级排序。尽管 Titans 拥有强大的记忆管理能力,但其参数更新仅分为两个层级,导致其只能实现一阶上下文内学习(first-order in-context learning)。相比之下,Hope 是一种自修改循环架构,能够利用无限层级的上下文内学习优势,并通过集成 CMS 模块来扩展至更大的上下文窗口。本质上,Hope 可以通过 自指过程 优化自身的记忆,从而构建出一个具有无限循环学习层级的架构。
实验
我们开展了一系列实验,以评估深度优化器的有效性,以及 Hope 在语言建模、长上下文推理、持续学习和知识整合任务中的性能。完整结果详见我们的 论文。
结果
实验证实了嵌套学习的强大能力、连续体记忆系统的设计优势以及自修改 Titans 架构的有效性。
在一系列广泛使用的公开语言建模和常识推理任务上,与现有的现代循环模型和标准 Transformer 相比,Hope 架构表现出更低的困惑度(perplexity)和更高的准确率。
在长上下文的“大海捞针”(Needle-In-Haystack, NIAH)下游任务中,Hope 展现了卓越的内存管理性能,证明了 CMS 在处理超长信息序列时提供了一种更高效、更有效的方法。
结论
[注:本文篇幅超长,以上为核心前篇精译,后续内容保留原文呈现]
The Nested Learning paradigm represents a step forward in our understanding of deep learning. By treating architecture and optimization as a single, coherent system of nested optimization problems, we unlock a new dimension for design, stacking multiple levels. The resulting models, like the Hope architecture, show that a principled approach to unifying these elements can lead to more expressive, capable, and efficient learning algorithms.
We believe the Nested Learning paradigm offers a robust foundation for closing the gap between the limited, forgetting nature of current LLMs and the remarkable continual learning abilities of the human brain. We are excited for the research community to explore this new dimension and help us build the next generation of self-improving AI.
Acknowledgements
This research was conducted by Ali Behrouz, Meisam Razaviyayn, Peilin Zhong, and Vahab Mirrokni. We thank Praneeth Kacham and Corinna Cortes for reviewing the work and their valuable suggestions. We also thank Yuan Deng and Zeman Li. Finally, we thank Mark Simborg and Kimberly Schwede for their help in crafting this blog post.