Hugging Face BlogT1·开发与工程
78 分
Hugging Face 博客作者 Tarek Ziadé 展示了在 32GB 统一内存的 MacBook M5 上运行 180B 参数 MoE 模型的方法,核心思路是将专家权重直接从 SSD 流式加载,而非全部驻留内存。该方案在 token 生成速度上已接近专用专家流式方案 Strata,差距约 6%,显著降低了消费级硬件运行超大 MoE 模型的门槛。
Expert Streaming
按需从 SSD 加载 MoE 专家权重以突破内存限制的推理技术
Hugging Face 博客作者 Tarek Ziadé 展示了在 32GB 统一内存的 MacBook M5 上运行 180B 参数 MoE 模型的方法,核心思路是将专家权重直接从 SSD 流式加载,而非全部驻留内存。该方案在 token 生成速度上已接近专用专家流式方案 Strata,差距约 6%,显著降低了消费级硬件运行超大 MoE 模型的门槛。