Thinking Machines 发布 Inkling 2 Mini 循环层模型

作者:Inferact, Thinking Machines and NVIDIA原标题:Inkling 2 Mini on vLLM: Day-0 Support for a Looped Model
78AI 研判分

Thinking Machines 发布多模态 MoE 模型 Inkling 2 Mini,总参数 26B、激活参数 3.5B,支持最高 100 万 token 上下文,并内置 DSpark 推测器。其核心创新在于中间 12 层以共享权重循环执行三次,每轮保留独立 KV 缓存并读取上一轮的门控消息。vLLM 在 NVIDIA Blackwell、Hopper 与 DGX Spark 上实现 Day-0 支持。

报道正文

本文目录7 个章节

vLLM 上的 Inkling 2 Mini:对循环模型的 Day-0 支持

Thinking Machines 今天发布了 Inkling 2 Mini。vLLM 在 Day 0 即支持该模型及其可变循环研究检查点 TML-d24-varloop-research,支持平台包括 NVIDIA Blackwell、Hopper 和 DGX Spark。Inkling 2 Mini 是一个循环模型:其中间 12 层对每个 token 运行三次,权重共享,每次传递都有各自的 KV cache,并从前一次传递接收门控消息。它是一个多模态 MoE,总参数 26B、激活参数 3.5B,上下文长度最高 1M token,并内置原生 DSpark 推测器。

TL;DR

  • 循环层。 第 6–17 层以共享权重运行三次传递。每次传递保留自己的 KV cache,并读取前一次传递的门控消息。
  • 总参数 26B、激活参数 3.5B、1M 上下文、原生 DSpark。 一个由 Inkling 2 Small 组件构建的多模态 MoE,采用 NVFP4 专家(最后 4 层为 MXFP8)和原生 DSpark 推测器。
  • 在 Blackwell、Hopper 和 DGX Spark 上的优化 Day-0 支持。 vLLM 像管理其他缓存层一样管理每次传递的缓存,融合消息读取和控制器,并复用 Inkling 2 Small 的融合 kernel。
  • RL 支持。 vLLM 通过 SkyRL 为强化学习提供 Inkling 2 Mini 服务。
  • 可变循环研究检查点。 vLLM 还支持 TML-d24-varloop-research,你可以在启动时选择传递次数,以及各次传递是否共享一个 KV cache。

我们提供了支持 Inkling 2 Mini 的 Docker 镜像 vllm/vllm-openai:inkling-2-mini。你可以用以下命令启动模型服务:

BASH
docker run --gpus all --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:inkling-2-mini thinkingmachines/Inkling-2-Mini \
  --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
  --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

以及可变循环研究检查点,此处为 2 次传递,且各次传递共享一个 KV cache:

BASH
docker run --gpus all --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:inkling-2-mini thinkingmachines/TML-d24-varloop-research \
  --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
  --hf-overrides '{"text_config": {"loop_num_passes": 2, "loop_share_cache": true}}'

循环

图 1。前奏与尾声各运行一次;循环核心运行三遍,每一遍都从前一遍读取消息。

前奏、核心、尾声。 24 层被划分为前奏(第 0–5 层)、循环核心(第 6–17 层)和尾声(第 18–23 层)。前奏和尾声各运行一次;核心以共享权重运行三遍,尾声从最后一遍继续。每六层为一组,构成 Inkling 2 Small 中所用块注意力残差的一个块,因此核心的一遍恰好产生两个块。

每一遍都从前奏的输出开始。 普通的循环模型会将第 p 遍的输出送入第 p + 1 遍。而在这里,三遍都从同一个输出开始,第 p + 1 遍仅通过消息看到第 p 遍。

每个子层都会读取消息。 从第二遍开始,每个核心子层的输入(注意力的 query、key 和 value 输入以及 MLP 输入)都会获得各自的消息,这些消息通过注意力残差读取从前一遍的两个块中读取,每层和每种输入类型都有一个学习得到的 query。随后,一个 rank-64 控制器按通道将消息合并到输入中:

文本
h   = W_down · [rms(input), rms(message)]
out = (1 − tanh(W_forget · h)) · input + tanh(W_gain · h) · message

核心有 12 层、每层 4 个输入,因此之后的每一遍每个 token 都会读取 48 条消息。由于 query、key 和 value 输入获得不同的消息,滑动窗口层在第一遍中从同一个输入投影出这三者,而在后续遍中则采用三个独立的输入。

每一遍都保留自己的记忆。 每个核心层在每一遍中都有各自的 KV cache 和 conv-state cache,因此第 p 遍会关注第 p 遍为更早的 token 计算出的 key 和 value。该模型有 24 层,但有 48 个 KV cache 和 48 个 conv-state cache。

来自循环内部的 DSpark 草稿。 3 层的 DSpark 草稿在四次层访问中读取目标的隐藏状态:一次在前奏中,第二遍和第三遍各一次,以及最终输出。

各层本身沿用 Inkling 2 Small 的设计。 每一层都在隐藏维度 2,304 下使用 Inkling 2 Small 的组件:块注意力残差、带门控与 sink 的相对偏置注意力(20 个滑动窗口层和 4 个全注意力层,24 个查询头和 8 个 KV 头)、短卷积,以及 NVFP4(第 0–19 层)和 MXFP8(第 20–23 层)中的 128 个路由专家(top-8)。图像经过一个 23 层 ViT 编码器,其配置与 Inkling 2 Small 的相同。

在 vLLM 中服务该循环

将每轮传递的缓存作为常规缓存层。 vLLM 将核心层的每一轮额外传递注册为独立的注意力层,各自拥有自己的 KV 缓存和卷积状态缓存。KV 缓存管理器和前缀缓存将这些缓存与其他缓存同等对待,因此服务该循环无需新的缓存管理逻辑。

融合的消息读取与控制器。 直接实现会在后续每一轮传递中,为每个核心层启动 4 次消息读取和 4 个控制器,每个都包含多个 kernel。vLLM 在一个注意力残差 kernel 中读取一层的全部四条消息,并堆叠四个控制器的权重,使其 down 投影和 gain/forget 投影以批量 GEMM 方式运行。一个 Triton kernel 计算控制器的 RMS 归一化,另一个 kernel 将门控合并与消息所馈入子层的 RMSNorm 融合。合并在 FP32 下运行且不进行 FMA 收缩,与参考实现一致。

围绕每个子层的融合 kernel。 对于 Inkling 2 Small,vLLM 将每个子层的 all-reduce、短卷积、残差更新、注意力残差混合和 RMSNorm 融合为一个 kernel。vLLM 将这些 kernel 从隐藏维度 4,608 推广到 2,304,并新增一种模式,在 RMSNorm 之前返回 FP32 混合结果,以便后续传递将其消息合并进去。Inkling 2 Mini 在所有张量并行规模下都使用这些 kernel,包括 TP1;在 TP > 1 时,小批量还会通过 NVLink 组播融合 all-reduce。

可变循环研究检查点

Thinking Machines 还发布了 TML-d24-varloop-research,这是一个经过训练、可以以可变传递次数运行的研究检查点。vLLM 通过 --hf-overrides 暴露其两个选项:

BASH
docker run --gpus all --ipc=host -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:inkling-2-mini thinkingmachines/TML-d24-varloop-research \
  --reasoning-parser inkling --tool-call-parser inkling --enable-auto-tool-choice \
  --hf-overrides '{"text_config": {"loop_num_passes": 2, "loop_share_cache": true}}'
  • loop_num_passes 设置遍历次数(至少为 1;默认值为检查点自带的 3)。遍历次数越少速度越快;遍历次数越多质量越高。DSpark 要求使用默认值,因为 draft 读取的是固定的层访问次数。
  • loop_share_cache 让核心层的所有遍历共享同一份 KV cache:每次遍历都会覆盖其 token 的键和值,因此后续 token 读取的是最后一次遍历的键和值。Conv 状态则按遍历分别保留。

这两个选项在 Inkling 2 Mini 等固定循环检查点上都会被拒绝。在一台 GB200 上(TP1、4K 上下文、仅前向传播):

PassesDecode step, batch 1Decode step, batch 32KV cache capacity
11.51 ms3.81 ms352K tokens
22.67 ms5.92 ms233K tokens
33.85 ms8.11 ms175K tokens
3, shared KV cache3.86 ms8.10 ms194K tokens

共享 KV cache 节省的内存少于丢弃一次 pass,因为每次 pass 的 conv-state 缓存仍然保留。

准确性评估

vLLM 保持了参考实现的数值特性:每一步使用相同的数据类型、相同的 NVFP4 和 MXFP8 激活量化,以及 FP32 消息合并,仅归约顺序有所不同。在固定 prompt 上,vLLM 在 48 层中每一层的隐藏状态与参考实现的差异,大致相当于参考实现自身的 FlashAttention-4 与 PyTorch attention 路径之间的差异;而在给定相同输入时,MoE 输出逐位一致。

在端到端测试中,我们使用 inkling-verify 在最高 1M token 的 needle-in-a-haystack、MMMU-Pro 和 HLE 上测试了准确性,并在启用 DSpark 的情况下测试了 GSM8K。

致谢

我们感谢 Thinking Machines 和 NVIDIA 团队在 vLLM 中集成和优化 Inkling 2 Mini 过程中的紧密合作。