权重内记忆

该研究通过理论与实验证明，现代循环网络中普遍存在的门控机制，是状态空间模型（SSM）在上下文学习与精确检索任务上落后于 Transformer 的关键原因：门控使模型优先收敛到权重内的记忆解，从而延迟甚至阻止正确的上下文学习解形成，即便架构与记忆容量并无根本限制。与此同时，门控对长序列泛化往往有益，揭示了其在训练动力学中的双重作用。