加权状态汤实现高效长上下文检索
NeurIPS 2026 PALM 研讨会论文提出加权状态汤(weighted state souping),为缓存的状态编码学习查询相关的组合权重,显著提升 SSM 在长上下文下的单跳与多跳问答、大海捞针检索、变量追踪与工具调用表现。其稀疏变体在保持性能的同时,将编码成本降至近乎与上下文长度无关的常数级。
报道正文
本文已被 NeurIPS 2026 的“面向 AI 系统的个性化、对齐、长期记忆研讨会”(PALM)接收。
状态空间模型(SSM)将快速推理和固定状态大小与具有竞争力的语言建模性能相结合。最近,有人提出了状态 souping(state souping)作为一种过程,其中 SSM 独立编码诸如文档、工具定义或记忆记录之类的 token 块。由此得到的状态编码可以被缓存并重新组合,从而以低成本为下游查询构建上下文。然而,无论是状态 souping 还是普通 SSM,在长而拥挤的上下文中都会退化,这限制了它们在长时程领域中的实用性。为解决这一问题,我们提出了加权状态 souping,这是一种简单方法,它学习依赖于查询的权重来组合缓存状态。所得模型在单跳和多跳文档问答、大海捞针检索、变量跟踪和工具使用方面都大幅提升了长上下文性能。我们的方法还可以进一步调整为一种高效的稀疏变体,在保持(有时甚至提升)性能的同时,使编码成本相对于上下文长度几乎恒定。我们还给出了简单的理论论证,说明 souping 为何有效以及何时可能失败,并非正式地讨论了加权 souping 的优势。因此,加权状态 souping 将可复用的上下文表示与选择性检索相结合,为在大量文档、工具以及其他形式的结构化上下文(这些上下文在现代智能体工作负载中日益占据主导地位)上进行语言建模提供了一种高效方法。
- † 哈佛大学
- ** 在 Apple 工作期间完成
相关阅读与更新。
### 递归语言模型遇上不确定性:自我反思式程序搜索在长上下文中的惊人有效性
2026 年 7 月 9 日研究领域 语音与自然语言处理
长上下文处理仍然是语言模型面临的核心挑战:即使扩展了上下文窗口,模型也往往无法可靠地提取、推理并利用长上下文中的信息。近期诸如递归语言模型(RLMs)等工作通过智能体方式应对这一挑战,在推理阶段借助程序化交互将长上下文分解为递归子查询。尽管前景可观,但 RLM 的成功关键取决于……
阅读更多### 直至无限与超越:工具使用解锁状态空间模型中的长度泛化
2026年3月27日研究领域 方法与算法,研究领域 工具、平台、框架会议 ICLR
状态空间模型(SSMs)已成为序列建模中 Transformer 的主要替代方案。其核心优势在于长上下文和长文本生成中的效率,这得益于固定大小的内存和计算复杂度的线性扩展。我们在这项工作开头给出了一个简单的理论结果,表明 SSM 无法准确解决任何“真正长文本”生成问题(在我们正式定义的意义上),从而削弱了……