研究揭示门控机制致 SSM 偏向记忆而非上下文学习
该研究通过理论与实验证明，现代循环网络中普遍存在的门控机制，是状态空间模型（SSM）在上下文学习与精确检索任务上落后于 Transformer 的关键原因：门控使模型优先收敛到权重内的记忆解，从而延迟甚至阻止正确的上下文学习解形成，即便架构与记忆容量并无根本限制。与此同时，门控对长序列泛化往往有益，揭示了其在训练动力学中的双重作用。
报道正文
状态空间模型（SSM）已成为 Transformer 之外一个颇具吸引力的替代方案，能够以恒定内存和线性计算实现序列建模。尽管 SSM 表现出合理的性能与有利的计算特性，但在需要上下文学习和精确检索的任务上，它们仍落后于 Transformer，这拖慢了其在大规模语言建模中的采用。在本工作中，我们证明，SSM 在这些领域中的成功与失败都可以通过研究门控机制的作用来解释——门控机制是现代循环网络中普遍存在的组件。具体而言，我们通过理论与实验表明，这种门控机制会使 SSM 首先学到一种权重内的“记忆”解决方案，同时延迟、甚至阻止其收敛到正确的上下文学习解决方案。重要的是，即使不存在由架构或其记忆容量导致的根本性限制，这种情况也会发生。另一方面，我们发现门控通常有利于提升对长序列长度的泛化能力。我们的结果揭示了门控机制在塑造 SSM 的训练动态与泛化能力中的关键作用，并为理解和改进线性时间模型提供了基础。
- † 哈佛大学
- ** 在 Apple 工作期间完成
相关阅读与更新。
2026年3月27日研究领域 方法与算法，研究领域 工具、平台、框架会议 ICLR
状态空间模型（SSM）已成为序列建模中领先于 Transformer 的替代方案。其主要优势在于长上下文和长文本生成中的效率，这得益于固定大小的内存和计算复杂度的线性扩展。我们在这项工作开头展示了一个简单的理论结果，表明 SSM 无法准确解决任何“真正长文本”生成问题（以我们正式定义的意义而言），从而削弱了……
2024年5月28日研究领域 计算机视觉，研究领域 方法与算法会议 CVPR
Transformer 在类别条件 ImageNet 基准测试中展现出令人印象深刻的性能，取得了最先进的 FID 分数。然而，其计算复杂度会随 Transformer 的深度/宽度或输入 token 数量的增加而上升，并且即使在处理潜在输入序列时也需要采用分块近似方法。在本文中，我们通过提出一种新方法来提升图像……的效率与可扩展性，从而解决这些问题。