Hugging Face BlogT1·74 分
亚马逊提出 HOPE 高阶专家剪枝 让 MoE 模型内存占用大幅下降
原标题：Your Experts Have Partners. There's HOPE for Keeping Them Together
- HOPE 在剪枝时考虑专家间的耦合关系，而非逐个独立评估重要性
- MoE 模型推理显存几乎全被专家 MLP 占据，Qwen3.5-122B 中占比达 95%
- 每 token 仅激活少量专家，为永久删除冗余专家提供了充足空间
返回热点榜
llm热度 18.2°
AI 聚合热点事件 · 2026/11/9
亚马逊提出 HOPE 高阶专家剪枝 让 MoE 模型内存占用大幅下降
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/9 20:34:29
全景综述与最新动态
1 家信源交叉印证亚马逊团队提出 HOPE 高阶专家剪枝方法，针对混合专家（MoE）大模型推理时专家 MLP 占用绝大部分显存、但每个 token 仅激活少数专家的问题，通过考虑专家之间的耦合关系而非独立评估来删除冗余专家。以 Qwen3.5-122B 为例，其 48 个 MoE 层每层 256 个专家，约 250 GB 参数中 95% 来自专家 MLP，而每 token 每层仅用 8 个，剪枝空间巨大。
最新动向/亚马逊团队提出 HOPE 高阶专家剪枝方法，针对混合专家（MoE）大模型推理时专家 MLP 占用绝大部分显存、但每个 token 仅激活少数专家的问题，通过考虑专家之间的耦合关系而非独立评估来删除冗余专家。以 Qwen3.5-122B 为例，其 48 个 MoE 层每层 256 个专家，约 250 GB 参数中 95% 来自专家 MLP，而每 token 每层仅用 8 个，剪枝空间巨大。
逐小时热度走势
6 个完整观测小时当前
18.2
峰值
19.821:00
近 24h 变化
–
曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。