180B 参数模型在 32GB 内存上跑通 MoE 推理

原标题:180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
78AI 研判分

Hugging Face 博客作者 Tarek Ziadé 展示了在 32GB 统一内存的 MacBook M5 上运行 180B 参数 MoE 模型的方法,核心思路是将专家权重直接从 SSD 流式加载,而非全部驻留内存。该方案在 token 生成速度上已接近专用专家流式方案 Strata,差距约 6%,显著降低了消费级硬件运行超大 MoE 模型的门槛。

报道正文

本文目录9 个章节

返回文章列表

180B 参数,32GB 内存:用 Transformers 将 MoE 推理推向极限

发布于 2026 年 11 月 18 日 在 GitHub 上更新 点赞 2

文本
 [Tarek Ziadé tarekziade  关注](https://huggingface.co/tarekziade)       

直接从 SSD 流式加载 MoE 专家,在 token 生成上已接近 Strata 的 6% 以内。

我一直在尝试减少对在线模型的依赖,转而在本地运行更大的模型。在家里,我有一台配备两块 RTX 4090 的 PC(我们叫它 Orthrus——希腊神话中的双头犬),工作时则用一台配备 32G 统一内存的 MacBook M5。

Orthrus 运行的是 Windows 11,因为我的孩子们整天都在玩游戏。我曾装过 Ubuntu 双系统,但他们的游戏最终占用了那两块 2TB 硬盘的大部分空间。

我也是 RMD(房间移动开发)的忠实粉丝:在厨房喝一小时咖啡,在办公桌前待两小时,然后窝在沙发上。固定的台式机主机不适合我。

我的第一个实验是在 Orthrus 上用 llama.app 运行 Qwen 3.8 27B,并通过 pi 从我的笔记本电脑使用它。那个模型负责编码任务,像 Opus 这样的在线模型负责编排,第二块 RTX 则运行一个 FIM 模型,用于 Neovim 中的自动补全。

当我在社交网络上谈论这件事时,得到了非常强烈的反馈:用 Strata 搭配 Qwen3.8-Flash-Next。

什么是 Strata?

Strata 是一个面向 Qwen 等 MoE 模型的推理引擎。只有热专家留在 VRAM 中,其余部分放到 RAM,甚至放到磁盘上。专家占 MoE 模型权重的 90% 以上,因此像这样的 180B 模型可以在显存小得多的 GPU 上运行。比如我的 RTX 4090!

它也能在笔记本电脑上运行,我偶然发现了这篇博客文章,里面做的正是这件事:在 32 GB 的 Mac M4 上运行 Qwen3.8-Flash-Next,比 llama.cpp 更快,达到 13.5 tok/s。

对于我使用编码智能体的方式来说,这太慢了,但这是一个值得一试的有趣挑战。有一整类 MoE 模型无法装入 MacBook 的统一内存,却有可能以不错的速度运行。

其他引擎是如何卸载的?

在决定采用 Strata 之前,我考察了 llama.cpp、vLLM 和 Transformers 在 MoE 模型无法完全放入显存时的做法。有三个关键问题:专家存放在哪里、专家矩阵乘法在哪里执行,以及每个 token 需要搬运什么。

llama.cpp 通过 mmap 映射 GGUF 文件,并且可以把专家保留在 CPU 上(--cpu-moe、--n-cpu-moe N、-ot "exps=CPU",或用 --fit on 让它自动选择)。这些专家也在 CPU 上计算,因此只有激活值跨 PCIe 传输,权重从不跨 PCIe。当专家能放进内存时,这非常好。放不下时,页缓存就会频繁抖动。GPU 专家缓存(--moe-cache-mib)刚刚落地,但它会让计算图碎片化(每个 token 的 2 次拆分变成 50 次),而且即使所有内容都能放下,也会损失约 10% 的性能。

vLLM 的 --cpu-offload-gb N 把 N GB 权重放在锁页内存中,内核通过 PCIe 就地读取它们。对于 MoE 层,这仅涉及被路由的专家,但没有任何缓存:热门专家在每个 token 上都要再次跨 PCIe 传输,而且没有磁盘层级。默认情况下,卸载的权重包括稠密层,这些层在每个 token 上都会被读取;--cpu-offload-params experts 可以将其限制为仅专家。这适合 vLLM 的大批量场景——大批量几乎会触及每个专家——但对单 GPU 上的单个用户就不太适用。

Transformers 通过 Accelerate(device_map="auto"、offload_folder)进行卸载,一次卸载一个模块:钩子在 forward 之前把该模块的权重复制到 GPU。对于 MoE,这个模块是一层的整个专家库,因此每个 token 都会把每个已卸载层的所有专家复制过去,却只使用其中的 8 或 10 个。没有缓存,也没有路由的概念。而在 Mac 上,CPU 和 GPU 共享同一内存,所以“卸载到 CPU”并不会释放任何内存。

我在一块 A10G(24 GB)上,用充足的内存,对 Qwen3.6-35B-A3B 运行了所有这些方案,Harry Mellor 还用更好的参数重新运行了 vLLM:

引擎解码速度 (tok/s)
Strata, Q8_082 - 88
llama.cpp, Q8_0, --fit on63 - 64
llama.cpp, BF16, --fit on35 - 36
vLLM, FP8, --cpu-offload-gb 16 --cpu-offload-params experts20.1
vLLM, FP8, 相同参数, --enforce-eager14.7
vLLM, FP8, --cpu-offload-gb 169.7
vLLM, BF16, --cpu-offload-gb 50 --cpu-offload-params experts7.3
vLLM, BF16, --cpu-offload-gb 503.3
Transformers + Accelerate0.16

仅卸载专家就能让 vLLM 的速度翻倍,而 FP8 还能在此基础上进一步提升(每个专家的字节数减半,更多模型能放在 GPU 上)。vLLM 的另一个卸载后端会提前复制成组的层,其运行速度低于 1 tok/s。

如果专家能放进内存,llama.cpp 很难被超越。如果放不下,你就只能通过一个有界缓存,仅流式加载路由器选中的专家,速度要快到让 SSD 成为瓶颈而不是 Python,最好还能复用模型的高速专家内核。这就是在 32 GB Mac 上运行 Qwen3.8-Flash-Next 的情况,而 Transformers 开箱即用做不到。

让 Qwen3.8-Flash-Next 在我的 32 GB Mac 上用 Transformers 跑起来

Strata 在我的笔记本上已经太慢了,而 Transformers 短期内也不可能超越它。但 Accelerate 那条路差得太远,所以我想尝试直接修复 Transformers 本身的卸载机制,以我笔记本上的大模型为目标,心里清楚它大概率还是会慢到不适合我的工作方式。

所有代码都是用 AI 构建的:Transformers 的 PR、模型专用包和 Metal 内核。我的工作是决定尝试什么、阅读性能分析、决定保留什么。所有内容都在一个 Space 里:tarekziade/moe-expert-streaming。

从小处开始

我从 OLMoE-1B-7B 开始,它能放进内存,所以我可以把每个 token 与原生 Transformers 进行对比。

第一版:专家放在磁盘上,设备上有一个 LRU 缓存,还有一个 Python 循环一次运行一个专家。在所有专家都已缓存的情况下,它达到了 10.1 tok/s。原生版本约为 32。I/O 没问题,问题出在我的循环上:原生版本使用 grouped_mm,在一个内核中运行一层的所有专家。

修复方法,也是这个项目的核心思路,是把缓存变成一个槽池:一个由所有层共享的预分配设备张量,外加一个从专家 id 到槽位的逐层映射表。把路由器的专家 id 重映射到槽位后,这个池看起来就像一个普通的专家库,于是 grouped_mm 可以原样运行。不需要自定义的专家矩阵乘法。这让速度达到了 34.6 tok/s,而原生版本为 38.1。

experts_offload

然后我把独立的加载器变成了 from_pretrained 的一个选项,见 huggingface/transformers#50717。要试用它,请从该 PR 安装 Transformers:

BASH
pip install "git+https://github.com/huggingface/transformers.git@refs/pull/50717/head"

接着,从 OLMoE 转向真正的目标:Qwen3.8-Flash-Next:

PYTHON
path = snapshot_download("tarekziade/Qwen3.8-Flash-Next-expert-streaming")

model = AutoModelForCausalLM.from_pretrained(
    f"{path}/dense",
    dtype=torch.bfloat16,
    device_map={"": "mps", "experts.*": "disk"},
    quantization_config=MetalConfig(bits=8),
    experts_offload={
        "cache_bytes": 12 << 30,
        "quantized_experts": f"{path}/experts-q3",
    },
)

该仓库存放着项目转换脚本的输出:稠密权重、量化到 3 比特的专家,以及 n-gram 表。

映射到 "disk" 的专家会走流式路径,而不是 Accelerate 的 offload:加载器会跳过它们的张量,MoE 层则切换到 offload 实现。未命中时由 8 个 I/O 线程读取,每个专家一次连续读取。接下来两层的路由器会基于当前隐藏状态提前运行,以推测需要预取哪些专家。专家可以离线量化,从而减小读取量。它适用于采用标准专家布局的 MoE 模型。

该 API 仍在与 Transformers 维护者讨论中。device_map 这种形式正是由此而来,而量化专家很可能会走 #50245 的逐层量化方案,而不是它们自己的选项。

在 32 GB 的 Mac 上运行 121 GB 的专家

Qwen3.8-Flash-Next 有 48 层、每层 512 个专家(激活 10 个),FP8 下共 121 GB。仅对它们做流式处理还不够:还有一个 51 GB 的 n-gram 嵌入表,需要自己的磁盘路径。因此:

  • 专家量化到 3 比特:磁盘上 49 GB,设备上缓存 12 GiB
  • 稠密层用 8 比特(约 5.4 GB,相比 BF16 困惑度 +0.2%)
  • n-gram 表留在磁盘上,按需读取行

转换大约需要 5 小时。加载后占用约 18 GiB,6K 提示词峰值达到 25.4 GiB。这差不多是极限了:我必须关掉浏览器,否则 macOS 就会开始换页。

模型相关的部分(n-gram 表、Metal 内核)放在一个小型包 moe-expert-streaming 中,构建在 PR 之上。第一个版本运行速度约为 10 tok/s。

然后我在同一台 M5 上安装了 Strata,使用相同的提示词:

TransformersStrata差距
解码,200 个 token10.0 tok/s14.81.5x
预填充,4K 提示词68 tok/s2203.2x
6K 文档后的解码7.3 tok/s13.71.9x

Strata 0.1.60 使用了 IQ3_XXS 专家。两者都采用贪心解码,关闭了思考、MTP 和投机草稿,并使用 1,024 token 的预填充块。完整设置和原始结果在 Space 的详情页上。

我还试了 vllm-metal,也就是通过 MLX 在 Apple GPU 上运行 vLLM,它最近加入了专家卸载。它通过一个有界缓存从 MLX checkpoint 流式加载被路由的专家,和这个项目类似。但它无法在 32 GB 上运行 Qwen3.8-Flash-Next,原因就是上面提到的 n-gram 问题:只有专家被流式加载,n-gram 表仍留在内存中。仅 Hub 上 MLX checkpoint 中的这部分就有 32 GB,还不算约 5 GB 的稠密层和任何专家缓存。

缩小差距

大部分时间并没有花在专家上。以下是起作用的改进:

  • 尽早提交 GPU 工作。 PyTorch 在 MPS 上会把小内核留到下一次同步,导致 Python 工作时 GPU 空闲。在每个块之后强制提交带来了 +10%。这个问题其实应该在 PyTorch 中修复。
  • Metal 内核,用于 macOS 上没有快速路径的部分:Gated DeltaNet 和 hyper-connections。
  • Strata 自己的权重。 我换成了 Strata 的 GGUF 权重,将每个 token 的稠密权重流量从 5.4 GB 降到 3.9 GB,单个专家大小从 2.15 MB 降到 1.75 MB,并为每种专家大小使用单独的缓存池。
  • 预填充,我们通过更大的块,以及在计算当前层时读取下一层的专家,从 68 tok/s 提升到约 228 tok/s。
  • 长文档:只对索引器选中的块做注意力,以及 KV cache 原地增长,而不是在每个 token 时复制。
  • 未命中:Strata 不会隐藏它们,而是像我一样等待,而且没有哪种缓存策略能比 LRU 好多少。真正有帮助的是每层只读取一个猜测的专家,而 SSD 本来会空闲。

下面是当前运行方式下,一个 token 的一个 MoE 层:

对于一层和一个 token,路由器从 512 个专家中选出 10 个。其中 8 个已经在专家缓存中,另外 2 个从 SSD 读入空闲的缓存槽。随后,这些专家从缓存槽在 GPU 上运行,同时 SSD 为下一层读取一个预测的专家,该专家只有在被使用时才会进入缓存。

以下是在同一台 M5 上、使用相同提示词进行这些优化后的最终结果:

TransformersStrata差距
解码,200 个 token13.9 tok/s14.81.06x
预填充,4K 提示词228 tok/s2201.0x
6K 文档后的解码12.4 tok/s13.71.1x

在短解码上比 Strata 慢约 6%,但预填充略快,而且全程都通过 Transformers 完成。

剩下的差距主要来自主机往返,每 token 约 10 ms。同步后唤醒只占其中约 1 ms。其余时间是 GPU 空转,等待 Python 排队下一层。Strata 会提前把整个 token 的工作排好队,GPU 在每一层等待一个 Metal 共享事件,同时主机读取专家。PyTorch 没有暴露这一点。我试过用一个内核自旋等待 CPU 写入的标志来伪造它,结果 GPU 看到该写入的时间从一秒到永远不等。真正的修复方案是在 PyTorch 的 MPS 流上实现一个原生算子,但有挂起风险,所以我没有构建它。

结论

它以约 14 tok/s 运行,接近 Strata,但对于我使用编码代理的方式来说仍然太慢。Orthrus 继续承担真正的工作。

Transformers 没有击败 Strata,而要弥合最后约 6% 的差距,需要在技术栈中做更深入的改动,首先要能控制每层同步,而 PyTorch 目前不提供这一点。有趣的部分是它如何做到如此接近:只流式传输被路由的专家、一个 grouped_mm 可以直接在其上运行的有界缓存,以及几个有针对性的 Metal 内核。项目中没有 C++ 扩展:只有 Python、用 torch.mps.compile_shader 在运行时编译的 Metal 内核,以及预构建的 来自 Hub 的内核。为这个实验编写的所有 Metal 内核现在都已发布在 Hub 上,项目从那里加载它们。

不过,击败 Strata 从来不是唯一目标。构建这个项目是了解 MoE 和 LLM 从系统角度如何工作的绝佳方式:路由实际上有多稀疏、专家缓存能带来多少收益、每 token 的内存带宽去向何处,以及主机和 GPU 花多少时间互相等待。Transformers 让这一切都很容易逐个模块地探究。

通用的专家流式实现位于 huggingface/transformers#50717,基准测试位于 Space。欢迎对该方法和 API 提出反馈。

感谢 Pedro、Lysandre 和 Arthur 的出色反馈,感谢 Harry 帮助测试 vLLM。

最后,感谢 Niko Veit 的 Strata。Strata 为在消费级硬件上实现专家流式处理树立了标杆,正是有了这些可供追赶的数字,才推动这项工作走到了如此之远。