术语slug: state-space-model-ssm

状态空间模型

State Space Model (SSM)

以恒定内存与线性计算进行序列建模的循环架构,被视为 Transformer 的替代方案

收录情报动态

共 9 篇 · 第 1/1 页
Hacker News AIT2·基座大模型
71 分
Mamba 跨架构蒸馏新配方 两阶段初始化提效

研究提出一种从 Transformer 蒸馏到 Mamba 类架构的两阶段方法:先将知识蒸馏到线性化 Attention,再迁移至 Mamba,并配合原则性初始化,从而避免朴素蒸馏的性能损失。该方法还给出教师模型已存在与需从头训练两种场景下的算力最优蒸馏配方,降低大规模蒸馏风险。

Apple Machine Learning ResearchT1·基座大模型
62 分
加权状态汤实现高效长上下文检索

NeurIPS 2026 PALM 研讨会论文提出加权状态汤(weighted state souping),为缓存的状态编码学习查询相关的组合权重,显著提升 SSM 在长上下文下的单跳与多跳问答、大海捞针检索、变量追踪与工具调用表现。其稀疏变体在保持性能的同时,将编码成本降至近乎与上下文长度无关的常数级。

Apple Machine Learning ResearchT1·基座大模型
71 分
研究揭示门控机制致 SSM 偏向记忆而非上下文学习

该研究通过理论与实验证明,现代循环网络中普遍存在的门控机制,是状态空间模型(SSM)在上下文学习与精确检索任务上落后于 Transformer 的关键原因:门控使模型优先收敛到权重内的记忆解,从而延迟甚至阻止正确的上下文学习解形成,即便架构与记忆容量并无根本限制。与此同时,门控对长序列泛化往往有益,揭示了其在训练动力学中的双重作用。

AWS Machine Learning BlogT1·开发与工程
38 分
Cartesia 基于 SSM 实现亚百毫秒语音 AI

AWS 合作伙伴 Cartesia 利用状态空间模型(SSM)和 AWS 基础设施,实现了全球规模下的亚 100 毫秒文本转语音与语音转文本。该方案旨在解决实时对话 AI 中的延迟瓶颈,使开发者能构建接近人类交互自然度的语音应用。

Apple Machine Learning ResearchT1·基座大模型
58 分
Mamba 跨架构蒸馏新配方 两阶段初始化提升性能

研究提出一种将 Transformer 蒸馏为 Mamba 类架构的两阶段方法:先把 Transformer 知识蒸馏进线性化 Attention,再迁移至 Mamba,并配合原则性初始化,从而克服朴素蒸馏无法保留教师模型性能的问题。作者还给出教师模型已存在与需同步训练两种场景下的算力最优蒸馏配方,降低大规模蒸馏风险。

Google ResearchT1·基座大模型
78 分
Google 提出 Titans 架构:结合神经记忆与注意力机制突破长上下文限制

谷歌发布 Titans 及 MIRAS 研究,提出一种将在线优化、联想记忆与架构设计相结合的新型序列模型。该方案旨在解决 Transformer 在超长上下文中的计算瓶颈,通过引入非欧几里得范式的神经长期记忆模块,实现比传统 RNN/SSM 更强的信息捕获能力。这一进展为构建具备真正“长期记忆”的 AI 系统提供了新的理论框架和架构路径。

Hugging Face BlogT1·基座大模型
78 分
TII 开源 Falcon 3 系列:含 Mamba 架构小模型

阿布扎比技术创新研究所(TII)正式开源 Falcon 3 系列大语言模型,涵盖 1B 至 10B 参数规模。该系列重点强化了科学、数学与代码能力,并创新性地引入了基于 Mamba 架构的 7B 基础模型,旨在提升训练效率与推理性能。