Hugging Face BlogT1·基座大模型
45 分
Nyströmformer 提出利用 Nyström 方法近似 Transformer 中的自注意力计算,将时间和内存复杂度从二次方降至线性。该研究通过低秩矩阵分解技术,在保持模型性能的同时显著提升了长序列处理的效率。
Linear Complexity
算法运行时间或内存随输入规模线性增长的复杂度特性
Nyströmformer 提出利用 Nyström 方法近似 Transformer 中的自注意力计算,将时间和内存复杂度从二次方降至线性。该研究通过低秩矩阵分解技术,在保持模型性能的同时显著提升了长序列处理的效率。