Apple Machine Learning ResearchT1·基座大模型
62 分
NeurIPS 2026 PALM 研讨会论文提出加权状态汤(weighted state souping),为缓存的状态编码学习查询相关的组合权重,显著提升 SSM 在长上下文下的单跳与多跳问答、大海捞针检索、变量追踪与工具调用表现。其稀疏变体在保持性能的同时,将编码成本降至近乎与上下文长度无关的常数级。
Needle-in-a-Haystack Retrieval
在超长文本中定位特定信息片段的基准评测任务
NeurIPS 2026 PALM 研讨会论文提出加权状态汤(weighted state souping),为缓存的状态编码学习查询相关的组合权重,显著提升 SSM 在长上下文下的单跳与多跳问答、大海捞针检索、变量追踪与工具调用表现。其稀疏变体在保持性能的同时,将编码成本降至近乎与上下文长度无关的常数级。