Google 提出 Titans 架构:结合神经记忆与注意力机制突破长上下文限制
谷歌发布 Titans 及 MIRAS 研究,提出一种将在线优化、联想记忆与架构设计相结合的新型序列模型。该方案旨在解决 Transformer 在超长上下文中的计算瓶颈,通过引入非欧几里得范式的神经长期记忆模块,实现比传统 RNN/SSM 更强的信息捕获能力。这一进展为构建具备真正“长期记忆”的 AI 系统提供了新的理论框架和架构路径。
报道正文
本文目录8 个章节
Transformer 架构通过引入 注意力机制——一种让模型回顾早期输入以优先处理相关数据的技术——彻底改变了 序列建模。然而,计算成本随序列长度急剧增加,这限制了基于 Transformer 的模型扩展到极长上下文的能力,例如全文档理解或基因组分析所需的场景。
研究社区探索了多种解决方案,包括高效的线性 循环神经网络(RNN)以及像 Mamba-2 这样的 状态空间模型(SSM)。这些模型通过将上下文压缩为固定大小,实现了快速的线性扩展。然而,这种固定大小的压缩无法充分捕捉超长序列中的丰富信息。
在两篇新论文 Titans 和 MIRAS 中,我们提出了一种结合 RNN 速度与 Transformer 精度的架构及理论蓝图。Titans 是具体的架构(工具),而 MIRAS 则是用于推广这些方法的理论框架(蓝图)。二者共同推进了“测试时记忆”的概念,即 AI 模型在运行过程中通过纳入更强大的“意外”指标(即出乎意料的信息片段)来维持长期记忆,且无需专门的离线重训练。
由 Titans 展示的 MIRAS 框架,标志着向实时适应迈出了有意义的一步。该架构不再将信息压缩到静态状态中,而是随着数据流入主动学习并更新其自身参数。这一关键机制使模型能够即时将新的具体细节融入其核心知识中。
Titans:即时学习新上下文
一个有效的学习系统需要独立却又相互关联的记忆模块,这类似于 人脑对短期记忆和长期记忆的区分。
虽然注意力机制在精确的短期记忆方面表现出色,但 Titans 引入了一种新颖的神经网络长期记忆模块。与传统 RNN 中固定大小的向量或矩阵记忆不同,该模块充当一个深度神经网络(具体而言,是一个多层感知机)。这一记忆模块提供了显著更高的表达能力,使模型能够在不丢失重要上下文的情况下总结海量信息。模型不仅仅是在做笔记;它是在理解并综合整个故事脉络。
关键在于,Titans 并非被动地存储数据。它主动学习_如何_识别并保留贯穿整个输入的、连接各个 token 的重要关系和概念主题。这种能力的一个核心要素是我们所谓的“惊奇度指标”(surprise metric)。在人类心理学中,我们知道人们往往迅速且轻易地遗忘常规、可预期的事件,却会记住那些打破模式的事件——即意外、令人惊讶或情感强烈的事件。
在 Titans 的语境下,“惊奇度指标”是指模型检测到其当前记忆状态与新输入所传达信息之间存在巨大差异。
- 低惊奇度:如果新词是“猫”,而模型的内存状态已经预期到一个动物词汇,那么梯度(即惊奇度)很低。它可以安全地跳过将“猫”这个词永久存储在长期状态中的步骤。
- 高惊奇度:如果模型的内存状态正在总结一份严肃的财务报告,而新输入是一张香蕉皮的照片(意外事件),那么梯度(即惊奇度)将会非常高。这表明新输入具有重要性或异常性,必须优先将其永久存储在长期记忆模块中。
模型利用这一内部误差信号(梯度)作为“这很意外且很重要!”这一判断的数学等价物。这使得 Titans 架构能够仅使用最具新颖性和打破上下文的信息来选择性更新其长期记忆,从而保持整体过程的高速与高效。
Titans 通过整合两个关键要素来优化这一机制:
- 动量:模型同时考虑“瞬时意外”(当前输入)和“历史意外”(近期上下文流)。这确保了即使某些 token 本身并不令人意外,相关的后续信息也能被捕捉到。
- 遗忘(权重衰减):为了在处理极长序列时管理有限的记忆容量,Titans 采用了一种自适应权重衰减机制。这充当了遗忘门,允许模型丢弃不再需要的信息。
MIRAS:序列建模的统一视角
序列建模领域的每一次重大突破——从现代 Transformer 到全新的、极速的线性 RNN——在底层本质上都是同一回事:一个高度复杂的联想记忆模块。
因此,MIRAS 的独特性和实用性在于其看待 AI 建模的方式。它不将各种架构视为不同的事物,而是将其视为解决同一问题的不同方法:如何高效地将新信息与旧记忆相结合,同时避免关键概念被遗忘**。**
MIRAS 通过四个关键设计选择来定义序列模型:
- 记忆架构:用于存储信息的结构(例如向量、矩阵或深度多层感知机,如 Titans 中所用)。
- 注意力偏置:模型优化的内部学习目标,决定了模型的优先级。
- 保留门:记忆正则化器。MIRAS 将“遗忘机制”重新解释为特定形式的正则化,以平衡新知识的学习与过去知识的保留。
- 记忆算法:用于更新记忆的优化算法。
超越均方误差范式
几乎所有成功的现有序列模型都依赖均方误差 (MSE) 或点积相似度来处理其偏置和保留机制。这种依赖可能导致模型对异常值敏感,并限制其表达能力。
MIRAS 通过提供一个生成式框架,超越了这一局限,该框架基于优化和统计学文献来探索更丰富的设计空间。这使得创建具有非欧几里得目标和正则化的新型架构成为可能。
利用 MIRAS,我们创建了三种特定的无注意力模型:
- YAAD:我们将此 MIRAS 变体设计为对重大错误或“异常值”(如大型文档中的单个拼写错误)不那么敏感。它对错误使用更温和的数学惩罚(Huber 损失),因此不会因一次性问题而过度反应。这使得模型在输入数据杂乱或不一致时更加鲁棒。
- MONETA:该模型探索使用更复杂且严格的数学惩罚(称为广义范数)。它研究是否通过对模型的注意内容和遗忘内容应用这些更具约束力的规则,能够带来一个整体上更强大且稳定的长期记忆系统。
- MEMORA:该模型专注于通过强制其记忆充当严格的概率映射来实现最佳记忆稳定性。通过使用此约束,它确保每次更新记忆状态时,变化都是受控且平衡的。这保证了整合新信息的干净、稳定过程。几乎所有成功的现有序列模型都依赖均方误差 (MSE) 或点积相似度来处理偏差和保留机制。这种依赖关系可能导致模型对异常值敏感,并限制其表达能力。
实验与结果
我们将 Titans 以及 MIRAS 变体(YAAD、MONETA、MEMORA)与包括 Transformer++、Mamba-2 和 Gated DeltaNet 在内的领先架构进行了严格对比。此外,我们通过测试 Titans 在基因组建模(DNA)和时间序列预测方面的表现,进一步验证了其通用性,证明该架构能有效泛化至文本领域之外。
[注:本文篇幅超长,以上为核心前篇精译,后续内容保留原文呈现]
Across both standard language modeling datasets (C4, WikiText) and zero-shot reasoning tasks (HellaSwag, PIQA), our models consistently demonstrated higher accuracy and perplexity (a measure of how surprised an LLM is when looking at a piece of text).
The power of deep memory
Ablation studies clearly show that the depth of the memory architecture is crucial. When comparing long-term memory modules of the same size but different depths, modules with deeper memories consistently achieve lower perplexity in language modeling. Furthermore, they exhibit better scaling properties, maintaining performance as the sequence length increases significantly.
Language modeling and efficiency
In language modeling and commonsense reasoning tasks, Titans architectures outperform state-of-the-art linear recurrent models (such as Mamba-2 and Gated DeltaNet) and Transformer++ baselines of comparable sizes. The novel MIRAS variants (MONETA, YAAD, MEMORA) also achieve improved performance compared to these baselines, validating the benefit of exploring robust, non-MSE optimization mechanisms. Importantly, these models maintain efficient, parallelizable training and fast linear inference speeds.
Extreme long-context recall
The most significant advantage of these new architectures is their ability to handle extremely long contexts. This is highlighted in the BABILong benchmark, a task requiring reasoning across facts distributed in extremely long documents. In this challenging setting, Titans outperforms all baselines, including extremely large models like GPT-4, despite having many fewer parameters. Titans further demonstrates the capability to scale effectively to context window sizes larger than 2 million tokens.
Conclusion
The introduction of Titans and the MIRAS framework marks a significant advancement in sequence modeling. By employing deep neural networks as memory modules that learn to memorize as data is coming in, these approaches overcome the limitations of fixed-size recurrent states. Furthermore, MIRAS provides a powerful theoretical unification, revealing the connection between online optimization, associative memory, and architectural design. By moving beyond the standard Euclidean paradigm, this research opens the door to a new generation of sequence models that combine the efficiency of RNNs with the expressive power needed for the era of long-context AI.