Nyströmformer:线性时间近似自注意力机制

原标题:Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method
45AI 研判分

Nyströmformer 提出利用 Nyström 方法近似 Transformer 中的自注意力计算,将时间和内存复杂度从二次方降至线性。该研究通过低秩矩阵分解技术,在保持模型性能的同时显著提升了长序列处理的效率。

报道正文

Nyströmformer: Approximating self-attention in linear time and memory via the Nyström method