Hacker News AIT2·71 分
Mamba 跨架构蒸馏新配方 两阶段初始化提效
原标题：Attention to Mamba: A Recipe for Cross-Architecture Distillation
- 朴素 Transformer 到 Mamba 蒸馏会损失教师性能，需借助原则性初始化弥补
- 两阶段流程先蒸馏到线性化 Attention 再迁移至 Mamba，效果优于直接蒸馏
- 给出教师已存在与从头训练两种场景的算力最优蒸馏配方
返回热点榜
llm热度 11.4°
AI 聚合热点事件 · 2026/11/11
Mamba 跨架构蒸馏新配方 两阶段初始化提效
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/11 21:29:46
全景综述与最新动态
1 家信源交叉印证研究提出一种从 Transformer 蒸馏到 Mamba 类架构的两阶段方法：先将知识蒸馏到线性化 Attention，再迁移至 Mamba，并配合原则性初始化，从而避免朴素蒸馏的性能损失。该方法还给出教师模型已存在与需从头训练两种场景下的算力最优蒸馏配方，降低大规模蒸馏风险。
最新动向/研究提出一种从 Transformer 蒸馏到 Mamba 类架构的两阶段方法：先将知识蒸馏到线性化 Attention，再迁移至 Mamba，并配合原则性初始化，从而避免朴素蒸馏的性能损失。该方法还给出教师模型已存在与需从头训练两种场景下的算力最优蒸馏配方，降低大规模蒸馏风险。
逐小时热度走势
8 个完整观测小时当前
11.4
峰值
13.511-12
近 24h 变化
–
曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。