线性化注意力

研究提出一种从 Transformer 蒸馏到 Mamba 类架构的两阶段方法：先将知识蒸馏到线性化 Attention，再迁移至 Mamba，并配合原则性初始化，从而避免朴素蒸馏的性能损失。该方法还给出教师模型已存在与需从头训练两种场景下的算力最优蒸馏配方，降低大规模蒸馏风险。

研究提出一种将 Transformer 蒸馏为 Mamba 类架构的两阶段方法：先把 Transformer 知识蒸馏进线性化 Attention，再迁移至 Mamba，并配合原则性初始化，从而克服朴素蒸馏无法保留教师模型性能的问题。作者还给出教师模型已存在与需同步训练两种场景下的算力最优蒸馏配方，降低大规模蒸馏风险。