机器之心 (微信公众号)T2·78 分
LSA 新方法让千万 token 注意力提速 72 倍
原标题:千万token下,比DeepSeek式稀疏注意力再快22倍
- 在 10M token 下,稀疏注意力 98% 的 prefill 时间花在决定看哪些 token 的索引器上,而非注意力计算本身
- LSA 在 GLM-5.3-Flash 单层 prefill 上提速 22.7 倍,在 Qwen3.8-27B 上提速 72.4 倍,精度与原模型相近
- 论文与代码均已公开,可直接复现与集成
AI 聚合热点事件 · 2026/11/17
伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院联合提出 Latent Sparse Attention(LSA),把稀疏注意力的瓶颈从注意力计算转移到索引器开销上,在 10M token 下将 GLM-5.3-Flash 单层 prefill 提速 22.7 倍、Qwen3.8-27B 提速 72.4 倍,同时保持与原模型相近的精度。该方法直指超长上下文场景下索引器开销随长度二次方增长的核心矛盾,为千万级上下文提供了亚二次复杂度的可行路径。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:千万token下,比DeepSeek式稀疏注意力再快22倍