术语slug: state-souping

状态汤

State Souping

将独立编码的分块状态缓存并重组以低成本构造上下文的做法

收录情报动态

共 1 篇 · 第 1/1 页
Apple Machine Learning ResearchT1·基座大模型
62 分
加权状态汤实现高效长上下文检索

NeurIPS 2026 PALM 研讨会论文提出加权状态汤(weighted state souping),为缓存的状态编码学习查询相关的组合权重,显著提升 SSM 在长上下文下的单跳与多跳问答、大海捞针检索、变量追踪与工具调用表现。其稀疏变体在保持性能的同时,将编码成本降至近乎与上下文长度无关的常数级。