工具slug: strata

Strata

面向消费级硬件的 MoE 专家流式推理方案,本文的性能对标基准

收录情报动态

共 1 篇 · 第 1/1 页
Hugging Face BlogT1·开发与工程
78 分
180B 参数模型在 32GB 内存上跑通 MoE 推理

Hugging Face 博客作者 Tarek Ziadé 展示了在 32GB 统一内存的 MacBook M5 上运行 180B 参数 MoE 模型的方法,核心思路是将专家权重直接从 SSD 流式加载,而非全部驻留内存。该方案在 token 生成速度上已接近专用专家流式方案 Strata,差距约 6%,显著降低了消费级硬件运行超大 MoE 模型的门槛。