Hugging Face BlogT1·基座大模型
45 分
Nyströmformer 提出利用 Nyström 方法近似 Transformer 中的自注意力计算,将时间和内存复杂度从二次方降至线性。该研究通过低秩矩阵分解技术,在保持模型性能的同时显著提升了长序列处理的效率。
Nyström Method
一种用于近似核矩阵或大型对称矩阵的低秩分解算法
Nyströmformer 提出利用 Nyström 方法近似 Transformer 中的自注意力计算,将时间和内存复杂度从二次方降至线性。该研究通过低秩矩阵分解技术,在保持模型性能的同时显著提升了长序列处理的效率。