研究提出一种从 Transformer 蒸馏到 Mamba 类架构的两阶段方法:先将知识蒸馏到线性化 Attention,再迁移至 Mamba,并配合原则性初始化,从而避免朴素蒸馏的性能损失。该方法还给出教师模型已存在与需从头训练两种场景下的算力最优蒸馏配方,降低大规模蒸馏风险。
状态空间模型
State Space Model (SSM)
以恒定内存与线性计算进行序列建模的循环架构,被视为 Transformer 的替代方案
收录情报动态
NeurIPS 2026 PALM 研讨会论文提出加权状态汤(weighted state souping),为缓存的状态编码学习查询相关的组合权重,显著提升 SSM 在长上下文下的单跳与多跳问答、大海捞针检索、变量追踪与工具调用表现。其稀疏变体在保持性能的同时,将编码成本降至近乎与上下文长度无关的常数级。
该研究通过理论与实验证明,现代循环网络中普遍存在的门控机制,是状态空间模型(SSM)在上下文学习与精确检索任务上落后于 Transformer 的关键原因:门控使模型优先收敛到权重内的记忆解,从而延迟甚至阻止正确的上下文学习解形成,即便架构与记忆容量并无根本限制。与此同时,门控对长序列泛化往往有益,揭示了其在训练动力学中的双重作用。
AWS 合作伙伴 Cartesia 利用状态空间模型(SSM)和 AWS 基础设施,实现了全球规模下的亚 100 毫秒文本转语音与语音转文本。该方案旨在解决实时对话 AI 中的延迟瓶颈,使开发者能构建接近人类交互自然度的语音应用。
研究提出一种将 Transformer 蒸馏为 Mamba 类架构的两阶段方法:先把 Transformer 知识蒸馏进线性化 Attention,再迁移至 Mamba,并配合原则性初始化,从而克服朴素蒸馏无法保留教师模型性能的问题。作者还给出教师模型已存在与需同步训练两种场景下的算力最优蒸馏配方,降低大规模蒸馏风险。
谷歌发布 Titans 及 MIRAS 研究,提出一种将在线优化、联想记忆与架构设计相结合的新型序列模型。该方案旨在解决 Transformer 在超长上下文中的计算瓶颈,通过引入非欧几里得范式的神经长期记忆模块,实现比传统 RNN/SSM 更强的信息捕获能力。这一进展为构建具备真正“长期记忆”的 AI 系统提供了新的理论框架和架构路径。
IBM 联合 Mamba 作者推出开源模型 Bamba,采用 Transformer 与 Mamba2 的混合架构。该模型在长序列场景下推理速度较 LLaMA 提升最高 5 倍,显著优化了显存占用与计算效率。
阿布扎比技术创新研究所(TII)正式开源 Falcon 3 系列大语言模型,涵盖 1B 至 10B 参数规模。该系列重点强化了科学、数学与代码能力,并创新性地引入了基于 Mamba 架构的 7B 基础模型,旨在提升训练效率与推理性能。
TII 推出 Falcon Mamba,这是首个在 7B 规模上具备强劲性能的无注意力机制大语言模型。该模型基于 Mamba 架构,旨在通过状态空间模型替代传统 Transformer 的注意力层,以显著降低推理成本并提升长上下文处理能力。