Nyströmformer:线性时间近似自注意力机制
原标题:Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method
45AI 研判分
Nyströmformer 提出利用 Nyström 方法近似 Transformer 中的自注意力计算,将时间和内存复杂度从二次方降至线性。该研究通过低秩矩阵分解技术,在保持模型性能的同时显著提升了长序列处理的效率。
报道正文
Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method