vLLM 首日支持 Inkling 2 Small 594B 模型
vLLM 在 Inkling 2 Small 发布当天即完成适配,这是一款 594B 总参数、17B 激活参数的多模态 MoE 模型,支持最高 100 万 token 上下文,并原生集成 DSpark 投机解码器。vLLM 通过内核融合、PDL、Gluon 注意力内核与序列并行等优化,在 GB200 四卡张量并行下实现单用户最高 630 TPS、接受长度 3.5,同时支持 LoRA 与强化学习负载。
报道正文
本文目录7 个章节
vLLM 上的 Inkling 2 Small:Day-0 支持

vLLM 在 Day-0 即支持 Thinking Machines 的 Inkling 2 Small。这是一个多模态(文本与视觉)MoE 模型,总参数 594B、激活参数 17B,上下文长度最高可达 1M tokens。该模型还自带原生 DSpark 推测器。vLLM 以优化后的性能支持它(在 TP4 下每用户最高 630 TPS,接受长度为 3.5),同时也支持 LoRA。
简要总结
- 总参数 594B、激活参数 17B、上下文 1M。 一个 48 层 MoE,包含 384 个专家(top-8),接收图像和文本并输出文本。
- 相较 Inkling 的架构升级。 块注意力残差、attention sink、门控注意力,以及 ViT 图像编码器。
- 混合精度 MoE。 MoE 使用 NVFP4(第 0–39 层)和 MXFP8(第 40–47 层),因此该模型可在单节点上部署。
- 原生 DSpark 推测器。 带 RNN 头的 DSpark 每步草拟 7 个 token。
- 大量优化。 内核融合、PDL、高度调优的 Gluon 注意力内核,以及序列并行,在 GB200 上以 TP4 实现每用户最高 630 TPS,接受长度为 3.5。
- RL 与 LoRA 支持。 vLLM 为该模型支持 RL(通过 SkyRL)和 LoRA。
你可以用以下命令部署该模型:
vllm serve thinkingmachines/Inkling-2-Small \
--tensor-parallel-size 8 \
--reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
--speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'模型架构
图 1. Inkling 2 Small 架构。金色标记表示相较 Inkling 新增或变更的部分。
| Inkling | Inkling 2 Small | |
|---|---|---|
| 层数 | 66(55 层滑动窗口 + 11 层全注意力) | 48(40 层滑动窗口 + 8 层全注意力) |
| 残差路径 | 残差流 | 块注意力残差(8 个块,每块 6 层) |
| 注意力 | 带相对偏置的 GQA,无 RoPE | 相同 |
| 头数(查询 / KV) | 全注意力 64 / 8,滑动窗口 64 / 16 | 所有层均为 48 / 8 |
| 滑动窗口 | 512 | 1,024 |
| 注意力输出 | 普通 | sigmoid 门控与逐 token sink |
| 短卷积 | 每层 4 个(K、V、注意力输出、MLP 输出),卷积核大小 4 | 相同 |
| MoE | 256 个路由专家(top-6)+ 2 个共享专家 sink,前 2 层为稠密层 | 384 个路由专家(top-8),无共享专家,所有层均为 MoE |
| 专家精度 | NVFP4 | NVFP4(第 0–39 层),MXFP8(第 40–47 层) |
| 模态 | 输入文本、图像、音频;输出文本 | 输入文本、图像;输出文本 |
| 图像编码器 | 40×40 图像块上的 4 层 hMLP | 20×20 图像块上的 23 层 ViT(宽 1,024) |
| 投机解码 | 8 个链式 MTP 头 | DSpark 草稿模型,每步 7 个 token |
Inkling 骨干网络 + 最新进展。 Inkling 2 Small 保留了 Inkling 的骨干架构:滑动窗口注意力与全注意力以 5 的比例混合、使用带学习相对偏置而非 RoPE 的 GQA、每层四个短卷积,以及 sigmoid 路由的 MoE。在此基础上,它加入了最新进展。块注意力残差取代了残差流,因此在每个子层之前,一个学习到的查询会混合此前 6 层块的输出。门控注意力在每个头的输出上加入 sigmoid 门,并为每个 token 加入注意力汇点。它将 hMLP 图像编码器替换为 23 层 ViT。
采用 Four-Over-Six NVFP4 的混合精度 MoE。 在 Inkling 2 Small 的 48 层中,前 40 层的专家使用 NVFP4,后 8 层的专家使用 MXFP8。NVFP4 激活采用逐 token 全局缩放加双候选块缩放(Four Over Six):对于每个 16 元素块,量化器会尝试将块的最大值缩放到 6 和 4,并保留重建误差(MAE)更低的那一个。
带 RNN 头的 DSpark 推测器。 该检查点还附带了一个 DSpark 草稿模型,取代 Inkling 的 8 个链式 MTP 头。该推测器有 5 层,每步起草 7 个 token。其头部是 DeepSeek 的 DSpark 论文所描述的 RNN 变体。
vLLM 集成与优化
图 2. 解码和大规模预填充时,一个解码器层中的内核。
内核融合与 PDL。 vLLM 将子层之间的集合通信和内存受限操作积极融合为单个内核。在带注意力残差的情况下,每个边界都需要一次 all-reduce、一次短卷积、一次残差更新、注意力残差混合和一次 RMSNorm:这是对同一隐藏状态执行的五个内存受限步骤。融合内核 allreduce_conv_mix(图 2 中的金色部分)通过 NVLink 组播执行 all-reduce,并将之后的所有操作保留在寄存器中。GEMM、注意力、路由和激活内核均以程序化依赖启动(PDL)方式启动,因此每个内核的前导部分会与上一个内核的尾部重叠,这在小批量大小下很重要,因为此时一个解码步骤是一长串短内核。
融合激活量化的 MoE。 vLLM 在产生专家激活的 kernel 内部对其进行量化(NVFP4 或 MXFP8,与每一层匹配),因此无需单独的量化流程来处理隐藏状态:路由 kernel 在 gate/up 投影之前对 token 进行量化,而带 softcap 的 SwiGLU 在 down 投影之前对其输出进行量化。专家 GEMM 运行在 TensorRT-LLM 的 batched-GEMM kernel 上,随 FlashInfer 一同发布。
用于 prefill 的序列并行。 在普通张量并行下,每次 all-reduce 之后,每块 GPU 都要对所有 token 执行短卷积、注意力残差混合和 RMSNorm:同样的工作在每个 rank 上重复一遍。这在 decode 阶段开销很小,但在 prefill 阶段代价高昂。vLLM 通过序列并行消除了这种冗余(图 2 中的紫色和金色部分)。每块 GPU 先做 reduce-scatter,然后仅在其负责的 token 分片上,用一个融合的 conv_mix kernel 执行短卷积、残差更新、注意力残差混合和 RMSNorm,再对结果做 all-gather 以供下一个 GEMM 使用。这使得 8K token 的 prefill 步骤在 TP4 下缩短 22%,在 TP8 下缩短 26%,并且每块 GPU 释放出 1.3–1.9 GiB 用于 KV cache。
为 decode 优化的 Gluon 相对注意力 kernel。 Inkling 的 FlashAttention-4 decode 路径对 Inkling 2 Small 来说很慢:6 的 GQA 比例会静默地禁用 GQA packing。为解决这个问题,我们为 decode 和 verify 编写了一个 warp 专用的 Gluon kernel,将 6 个 head 打包进一个 64 行的 tile,并且只读取一次 KV:一个 TMA warp 流式读取 KV,一个 tcgen05 warp 执行 MMA,四个 softmax warp 施加相对偏置。在 100K 上下文下,batch-1 的 decode 步骤从 15.1 ms 降至 4.8 ms。Prefill 仍保留 Inkling 的 sheared-bias FlashAttention-4 路径。
性能
我们在 TP8(两个 4-GPU 节点)下,使用 DSpark(概率性起草)和前缀缓存,对 Inkling 2 Small 在 agentic 工作负载上进行了基准测试。每个会话保持一个长上下文,并且在每一轮中追加先前的回答和一个约 2K token 的工具输出,因此每轮只有约 3K token 是新的;随后每轮在开启推理、温度 1.0 下生成 1,024 个 token。下表给出了在每个用户获得 100 tokens/s 的并发度下,每块 GPU 的输出吞吐量。
| 会话上下文 | 每 GPU 在 100 tok/s/用户时的输出 tok/s | 并发会话数 | 前缀缓存命中率 | 接受长度 |
|---|---|---|---|---|
| 32K | ~1,070 | ~84 | 91% | 3.3 |
| 64K | ~915 | ~72 | 95% | 3.4 |
| 128K | ~700 | ~55 | 98% | 3.5 |
| 256K | ~450 | ~37 | 99% | 3.5 |
在 TP4 配置下,单用户解码速度约为 630 tok/s,接受长度为 3.5。
精度评估
vLLM 保持了参考实现的数值特性:每一步使用相同的数据类型,注意力输出和路由器均采用 FP32,并沿用相同的 NVFP4/MXFP8 激活量化,仅归约顺序和 all-reduce 的 BF16 部分有所不同。端到端方面,我们在启用 DSpark 的情况下,使用 inkling-verify 在最长 100 万 token 的 NIAH、MMMU-Pro 和 HLE 上验证了精度;得分与未启用投机解码的运行结果一致。
致谢
我们感谢 Thinking Machines 团队在 vLLM 中集成和优化 Inkling 2 Small 过程中的紧密合作。该工作由 Aurick Qiao(Thinking Machines)和 Woosuk Kwon(Inferact)主导。