返回热点榜
tools热度 7.6°

AI 聚合热点事件 · 2026/11/18

180B 参数模型在 32GB 内存上跑通 MoE 推理

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/18 08:00:00
全景综述与最新动态
1 家信源交叉印证

Hugging Face 博客作者 Tarek Ziadé 展示了在 32GB 统一内存的 MacBook M5 上运行 180B 参数 MoE 模型的方法,核心思路是将专家权重直接从 SSD 流式加载,而非全部驻留内存。该方案在 token 生成速度上已接近专用专家流式方案 Strata,差距约 6%,显著降低了消费级硬件运行超大 MoE 模型的门槛。

最新动向/Hugging Face 博客作者 Tarek Ziadé 展示了在 32GB 统一内存的 MacBook M5 上运行 180B 参数 MoE 模型的方法,核心思路是将专家权重直接从 SSD 流式加载,而非全部驻留内存。该方案在 token 生成速度上已接近专用专家流式方案 Strata,差距约 6%,显著降低了消费级硬件运行超大 MoE 模型的门槛。

逐小时热度走势

24 个完整观测小时
当前
7.6
峰值
13.202:00
近 24h 变化
-42%

曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。

报道时间线

共 1 篇 · 最新优先