Hugging Face BlogT1·78 分
180B 参数模型在 32GB 内存上跑通 MoE 推理
原标题:180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
- 核心方法是将 MoE 专家权重从 SSD 流式加载,避免全部驻留内存
- 在 token 生成速度上接近 Strata 专用方案,差距约 6%
- 验证了 32GB 统一内存设备运行 180B 级 MoE 模型的可行性
AI 聚合热点事件 · 2026/11/18
Hugging Face 博客作者 Tarek Ziadé 展示了在 32GB 统一内存的 MacBook M5 上运行 180B 参数 MoE 模型的方法,核心思路是将专家权重直接从 SSD 流式加载,而非全部驻留内存。该方案在 token 生成速度上已接近专用专家流式方案 Strata,差距约 6%,显著降低了消费级硬件运行超大 MoE 模型的门槛。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers