术语slug: low-rank-approximation

低秩近似

Low-Rank Approximation

用低维矩阵逼近高维注意力矩阵以节省内存

收录情报动态

共 1 篇 · 第 1/1 页
Hugging Face BlogT1·基座大模型
42 分
Hugging Face 综述长程 Transformer 优化技术

Hugging Face 发布关于长程 Transformer(Long-range Transformers)的技术综述,系统梳理了降低计算复杂度的主流方法。文章重点介绍了稀疏注意力、低秩近似及线性化等架构改进策略,旨在解决标准 Transformer 在长序列处理上的二次方复杂度瓶颈。