术语slug: latent-sparse-attention

隐空间稀疏注意力

Latent Sparse Attention

在隐空间完成 token 选择以规避索引器二次方开销的超长上下文注意力方法

收录情报动态

共 1 篇 · 第 1/1 页
机器之心 (微信公众号)T2·基座大模型
78 分
LSA 新方法让千万 token 注意力提速 72 倍

伦敦初创公司 Prefrontal AI 与苏黎世联邦理工学院联合提出 Latent Sparse Attention(LSA),把稀疏注意力的瓶颈从注意力计算转移到索引器开销上,在 10M token 下将 GLM-5.3-Flash 单层 prefill 提速 22.7 倍、Qwen3.8-27B 提速 72.4 倍,同时保持与原模型相近的精度。该方法直指超长上下文场景下索引器开销随长度二次方增长的核心矛盾,为千万级上下文提供了亚二次复杂度的可行路径。