Thinking Machines 发布 Inkling 2 Mini 循环 Transformer 模型
Thinking Machines Lab 与 Hugging Face 联合发布 Inkling 2 Mini,这是一款面向本地部署的多模态混合专家模型,物理参数约 26B、每 token 激活 3B。其核心创新在于部分层循环三次以放大有效容量,支持 100 万 token 上下文与图文输入,并以 NVFP4/MXFP8 混合精度权重加 DSpark 草稿模型实现加速。
报道正文
本文目录15 个章节
欢迎 Inkling 2 Mini:为本地部署带来前沿性能
发布于 2026 年 11 月 20 日 在 GitHub 上更新 点赞 9
TLDR;Inkling 2 Mini 是一款全新的循环 Transformer 模型。它是一个多模态混合专家(MoE)模型,物理总参数量约为 26B,每个 token 的激活参数量为 3B。它采用了一个巧妙的技巧来提升容量:部分层会以循环方式被访问三次,从而使其表现得像拥有更多参数一样。它支持 1M token 的上下文长度,可接受图像和文本输入。Thinking Machines Lab 以混合精度格式发布该模型,专家权重采用 NVFP4 和 MXFP8。此外还附带了一个 DSpark drafter,以少量内存开销换取额外的加速。
Inkling 2 Mini 比 Inkling 2 Small 小得多,专为本地 AI 部署而设计。我们认为这是一款令人耳目一新、非常出色的本地模型。在我们的体验测试中,它至少可与 Qwen 3.8 27B 相媲美。还需要更多验证,但我们对这次发布感到非常兴奋!
我们提供了 transformers、Llama App(llama.cpp)和 MLX 支持。SGLang 也为数据中心硬件上的生产部署提供了首日推理支持。
本文将介绍 Inkling Mini 的独特之处、我们的一些体验测试,以及如何在你的环境中使用它。
Inkling 2 Mini 有哪些新特性?
Inkling 2 Mini 是一个混合专家模型,拥有 24 个解码器层,但中间的 12 层会以循环方式运行三次。因此,该模型虽然只有 24 个物理层,却表现得像拥有 48 个(6+ 3*12 + 6)逻辑层一样。
与 Inkling 2 Small 类似,Inkling 2 Mini 每个 token 执行 48 次层访问。隐藏层大小为 2,304,而非 4,608。在每次层访问时,两个版本都会将 token 路由到 8 个专家,但 Mini 是从每层的 128 个专家中选择,而 Small 则是从 384 个中选择。 解码器将第 0–5 层运行一次,第 6–17 层运行三次,第 18–23 层运行一次。对第 6–17 层的三次遍历均复用相同的权重。
Nanbeige 等架构此前已经探索过循环结构。但 Inkling 2 Mini 探索了一种有趣的方法。每次经过循环核心(第 6–17 层)时,都从相同的输入开始,也就是前六层的输出。信息通过跨轮次 messages 在各轮次之间传递。每个循环层都会用自己的学习查询(query)从上一轮次的输出中读取一条消息(其 query、key、value 和 MLP 输入各有一条消息)。随后,一个小型门控控制器会同时查看该层的当前输入和这条消息。它决定要遗忘多少当前输入、加入多少消息。因此,每一轮都会对上一轮计算出的结果进行细化。
- 每个六层块包含五个滑动窗口层和一个全注意力层。局部窗口最多容纳 1,024 个 token。
- 注意力使用 24 个查询头和八个 KV 头。它使用学习到的相对位置 logits、一个学习到的 sink 以及一个输出门。全注意力层使用动态 key 和 value 卷积。
- 路由器为每个 token 从 128 个 SwiGLU 专家中选择八个。它对选中的分数进行归一化,并将权重缩放 8 倍。
- 在第 2 和第 3 轮次中,每个核心层会对上一轮次的两个残差块进行注意力计算。四个 rank-64 门将各自独立的消息混合进 query、key、value 和 MoE 输入。
文本解码器宽度为 2,304,每个专家的中间宽度为 1,152。复用核心权重减少了 checkpoint 存储的不同层数量。模型仍然执行全部 48 次访问,且每次访问都保留自己的 KV 和短卷积状态。
除了旗舰版 Inkling 2 Mini 模型之外,还发布了一个研究产物。它共享相同的架构,但这个变体经过训练,可以接受可变数量的循环轮次 🤯。将轮次设为 1 或 2 而不是 3,会让推理运行快得多,但生成质量可能略低。我们测试了这个变体,它能正常工作,但我们尚未对其进行深入评估。
基准测试结果
Inkling 2 Mini 在 Artificial Analysis Intelligence Index v5(AAv5)中处于同类模型的最先进水平,并在多个类别的众多基准测试中同样表现出色。与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,Inkling 2 Mini 在 48 项基准测试中的 32 项上领先。这些测试涵盖编程与自动研究、面向知识工作的智能体搜索与工具使用、视觉理解与创作、推理与知识,以及安全与对齐。完整基准测试列表及得分请参阅 Inkling 2 Mini 模型卡。
Inkling 2 Mini 是一款出色的本地编程助手。它在 FrontierCode v2.0 中领先,在 Terminal-Bench 4.0 上与 Qwen3.8-27B 持平,在 AutomationBench-AA v1.0.6 上落后于 Qwen。你可以在下方查看我们在编程和知识工作方面的一些亮点。请注意,AA Briefcase 采用 ELO 评分,分数越高越好。
推理支持
在本节中,你可以了解如何在 transformers、llama.cpp、MLX 和 SGLang 中使用 Inkling 2 Mini。
Transformers
我们同时支持 Inkling 2 Mini(固定循环)和 TML-d24-varloop-research(可变循环)研究变体。
使用 Inkling 2 Mini 的固定循环
你可以使用 AutoModelForMultimodalLM 类。
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
)
messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]
inputs = processor.apply_chat_template(
messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))可变循环
要设置研究检查点中的循环次数,你可以按如下方式修改 text_config 中的 loop_num_passes。下面的示例使用两个循环。
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/TML-d24-varloop-research"processor = AutoProcessor.from_pretrained(model_id) model = AutoModelForMultimodalLM.from_pretrained( model_id, text_config={"loop_num_passes": 2}, )
messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]
inputs = processor.apply_chat_template( messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device) input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024) print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))
#### 图像与文本
对于图像提示,将任一示例中的 messages 替换为下面的列表,然后照常进行推理。
messages = [ { "role": "user", "content": [ {"type": "image", "image": "/path/to/image.jpg"}, {"type": "text", "text": "What is in this image?"}, ], } ]
#### 推理强度
向 `processor.apply_chat_template(...)` 传入 `reasoning_effort="medium"` 即可设置请求的推理强度。聊天模板会将该数值作为系统消息添加到提示中。默认值为 `high`(0.9)。
inputs = processor.apply_chat_template( messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", ).to(model.device)
可用的级别有 `none`(0.0)、`minimal`(0.1)、`low`(0.2)、`medium`(0.7)、`high`(0.9;默认)、`xhigh`(0.99)和 `max`(0.99)。你也可以传入 0.0 到 0.99 之间的数值,例如 `reasoning_effort=0.35`。
#### 工具调用
让我们让模型调用一些工具。
在这个示例中,我们向模型询问某个位置的当前温度。除了提示之外,我们还提供了用于完成此任务的工具(`get_current_temperature`)。模型请求调用工具,我们代其调用该工具,然后将输出添加到下一组指令中。模型使用该工具的输出,并为我们提供最终结果。
如果你想进一步了解工具调用,我们建议查阅我们的[官方文档](https://huggingface.co/docs/transformers/en/chat_extras)。
import torch from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/Inkling-2-Mini" processor = AutoProcessor.from_pretrained(model_id) model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")
def get_current_temperature(location: str, unit: str): """ 获取某个位置的当前温度。
参数:
location: 要获取温度的位置,格式为 "City, Country"
unit: 返回温度的单位。(可选值:["celsius", "fahrenheit"])
"""
return 22.0 # 真实函数会在这里调用天气 APIdef ask(messages): inputs = processor.apply_chat_template( messages, tools=[get_current_temperature], reasoning_effort="low", tokenize=True, return_dict=True, return_tensors="pt" ).to(model.device) output = model.generate(**inputs, max_new_tokens=1024)[0][inputs["input_ids"].shape[-1] :] parsed = processor.parse_response(output, prefix=inputs["input_ids"][0]) return parsed
messages = [{"role": "user", "content": "嘿,巴黎现在的温度是多少?"}]
reply = ask(messages) call = reply["tool_calls"][0]["function"] print("Model calls:", call["name"], call["arguments"]) # 模型会自行填充参数
temperature = get_current_temperature(**call["arguments"]) messages += [reply, {"role": "tool", "name": call["name"], "content": str(temperature)}] print(ask(messages)["content"])
Model calls: get_current_temperature {'location': 'Paris, France', 'unit': 'celsius'}
巴黎现在大约是 22°C(约 71.6°F)。
### Llama App 与 Llama.cpp
[Llama App](https://llama.app/) 让你可以轻松在 macOS(从菜单栏)或 Windows(系统托盘)上运行和管理本地语言模型。它基于 llama.cpp 构建,且出自同一团队。该应用还提供本地 OpenAI 兼容 API,便于与编码智能体、编辑器和脚本集成。
针对 Inkling 2 Mini 的发布,我们为两个模型都提供了 GGUF 4-bit(`IQ4_NL`)和 8-bit(`Q8_0`)量化版本。
如果你使用 Linux,或希望从 CLI 提供模型服务,可以对固定循环模型运行以下命令:
llama serve -hf ggml-org/Inkling-2-Mini-GGUF
要运行可变循环模型,可以运行
llama serve -hf ggml-org/TML-d24-varloop-research-GGUF
要加载 8-bit 权重,请将后缀改为 `:Q8_0`。
这里我们让 4-bit 模型为一个名为 plant therapy 的 SaaS 制作网站,该服务将植物匹配给持证治疗师。模型相当自主,它自己为网站视觉元素制作了 SVG,甚至构建了匹配逻辑。
### SGLang
Inkling 2 Mini 在 SGLang 中提供 Day 0 支持。你可以安装最新版本的 SGLang,并执行以下命令来启动服务器。需要提前满足的一个前提条件是,要在 `SM103` 上运行它。
export MODEL="thinkingmachines/Inkling-2-Mini"
python -m sglang.launch_server
--model-path $MODEL
--served-model-name inkling
--attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16
--tp 1 --page-size 128 --grammar-backend xgrammar
--host 0.0.0.0 --port 30000
服务器启动后,你应该能够像这样请求 API
curl -s localhost/health_generate && echo OK curl -s localhost/v1/models | python -m json.tool
curl -s localhost/v1/chat/completions
-H "Content-Type: application/json"
-d '{
"model": "inkling",
"messages": [{"role": "user", "content": "What is 17 times 24?"}],
"max_tokens": 512,
"reasoning_effort": "low"
还可以通过设置 `--enable-multimodal` 来启用多模态能力。
### 投机解码
SGLang 可以使用三层 DSpark 草稿模型来为目标模型提议 token,供其验证。该草稿模型会读取解码器第 5、23 和 41 层的输入,以及索引 48 处的最终归一化状态。在草稿权重就位的情况下,在服务器命令中添加 `--speculative-algorithm DSPARK --context-length 131072`。
我们对启用和不启用投机解码的模型进行了基准测试,并在单块 NVIDIA B300 GPU 上测量了生成速度,其中每个请求都有 1,024 token 的提示,并恰好生成 1,024 个 token,并发数为 1、4、16 和 64。
显示 SGLang 基准测试脚本
MODEL=thinkingmachines/Inkling-2-Mini
for TAG in base mtp; do EXTRA=""; [ $TAG = mtp ] && EXTRA="--speculative-algorithm DSPARK"
Start the server (with or without MTP)
python -m sglang.launch_server --model-path EXTRA > $TAG.log 2>&1 & until curl -sf localhost/health_generate > /dev/null; do sleep 10; done
# 在并发数递增的情况下进行基准测试
for C in 1 4 16 64; do
python -m sglang.bench_serving --backend sglang --port 30000 --model $MODEL \
--dataset-name random --apply-chat-template \
--random-input-len 1024 --random-output-len 1024 --random-range-ratio 1.0 \
--num-prompts $(( C*4 < 32 ? 32 : C*4 )) --max-concurrency $C \
--output-file results_$TAG.jsonl
done
kill %1; wait
doneMLX
我们将 MLX 支持上游贡献到了 mlx-lm 项目,包括多模态图像和文本输入,并通过 mlx-community 组织共享了量化模型。
MLX 推理同样适用于原始 checkpoint。在这种情况下,直接使用原生的 nvfp4 + mxfp8 量化方案,无需重新转换:你可以获得作者所期望的原始质量。
以下是一个 CLI 调用示例:
mlx_lm generate --model thinkingmachines/Inkling-2-Mini --image image.jpg --prompt "Describe this image.<|end_message|><|message_user|><|content_image|><|unused_200054|>" -m 1000演示与体验测试
我们在许多有趣的任务中对 Inkling 2 Mini 进行了尝试,请在本节中查看。
3D 着色器飞越动画
同一个提示词生成了两段日落飞越动画,分别掠过程序化生成的山脉和反光水面,每段均使用单个 WebGL 片段着色器渲染。
日落山脊(Inkling 2 Mini)
静海之上(Qwen 3.8 27B)
显示共享飞越提示词
构建你能做出的最令人印象深刻的原创实时场景:一架缓慢、电影感的摄像机飞越程序化生成的山脉,穿过体积云,贴近水面低飞并带有倒影,全部由日落照亮。将其作为单个自包含的 index.html 交付到当前目录,在一个全屏 WebGL 片段着色器中渲染一切,完全由代码生成(不使用任何纹理、图像、字体、库、外部文件或网络请求)。它必须在桌面 Chrome 上以 1920x1080 流畅运行,目标是在桌面 GPU 上达到 60 fps,并带有自动分辨率缩放回退机制,在帧率下降时降低内部渲染分辨率,且飞行必须无限持续且不出现故障。要检查你的工作,请运行
node shot.cjs index.html shot.png 6(第三个参数是等待的秒数;逗号列表如3,12,25会为每个时间点保存一张截图,可选的第四个参数设置尺寸,默认为 1280x720):它会在无头 Chrome 中渲染页面,保存截图,并打印 WebGL 渲染器、大致帧率以及任何控制台错误;然后查看图像。此机器上的无头渲染器可能仅使用软件渲染,因此其帧率可能远低于真实桌面 GPU 所能达到的水平,并非目标。自行决定结果何时完成,然后回复一段简短描述,说明你构建了什么。
活着的星月夜

文森特·梵高,《星月夜》(1889)
Inkling 2 Mini 复刻版
我们给 Inkling 2 Mini 提供了一张梵高画作的参考图像,以及 Pi 编码环境中的一个截图辅助工具。Inkling 编写了一个自包含的 HTML 页面,其中包含单个 WebGL2 片段着色器。该着色器完全通过代码绘制场景,不加载参考图像或任何其他资源。它利用时间对旋转的天空、星星的光芒、摇曳的柏树以及村庄窗户的闪烁进行动画处理。
Inkling 通过 24 轮截图检查渲染并审查了自己的作品。我们在 Apple M4 Max 上以 1080p 和 60 fps 逐帧录制了最终动画。
显示提示词
在此文件夹中,starry-night.jpg 是文森特·梵高的《星月夜》(1889 年,公有领域)。将其重现为一幅活着的画作:一个单独的自包含 index.html(所有代码内联,无外部文件、库或网络请求),填满浏览器窗口,并在桌面版 Chrome 于 1920x1080 分辨率下流畅运行。一切都必须通过代码程序化生成,例如使用 WebGL 着色器;页面不得加载、嵌入或采样 starry-night.jpg 或任何其他图像。忠实于画作的构图与色调(天空中巨大的螺旋与翻涌的气流、带光晕的星星、发光的弯月、左侧深色火焰般的柏树、起伏的山丘,以及带教堂尖顶的村庄),以梵高厚重、有方向性的笔触呈现,并赋予其生命:天空的漩涡流动,星星与月亮脉动发光,柏树摇曳,村庄的窗户闪烁明灭。力求做出最令人印象深刻的效果。提供了一个辅助工具:运行
node shot.js --help查看如何在多个时刻对 index.html 截图;将截图与参考图对照,不断改进直至满意,然后回复一段简短总结,说明你创作了什么。
从餐巾纸到应用
输入的餐巾纸草图
生成的 Trip Split 应用
我们给 Inkling 2 Mini 提供了一张手绘 Trip Split 线框图的照片,以及在 Pi 编码框架中一段话的提示词。Inkling 利用草图中的标签、示例支出和手写笔记,用原生 CSS 和 JavaScript 在单个 HTML 文件中构建了支出列表、添加支出表单和余额视图。当支出发生变化时,应用会更新总计和余额,建议用于结清旅行的付款方案,并将数据保存在浏览器的 localStorage 中,以便在重新加载后仍然保留。
我们进行了三次独立的 Inkling 尝试,并使用 Playwright 逐个点击每个构建版本,在需要视觉判断的地方查看截图。此处展示的第一次尝试通过了全部 13 项检查。加入草图中的 90 美元晚餐后,总额从 405 美元增加到 495 美元,并重新计算了每个人应付的金额。
显示提示词
此文件夹中的照片 sketch.jpg 是一位产品设计师手绘的小型应用线框图。请真正构建这个应用,打造出你能做出的最令人印象深刻、最具原创性、达到生产质量的版本:在此文件夹中创建一个单独的自包含 index.html,仅使用原生 HTML、CSS 和 JavaScript(不使用框架、CDN、外部文件或网络请求;可以使用 localStorage),并且必须在 1920x1080 的桌面 Chrome 中流畅运行。将纸上的所有内容都视为规格说明:每个屏幕、标签、按钮和数字、示例数据,以及每条红色注释所描述的行为都必须真正可用,而视觉设计、排版和动效则由你发挥,使其美观。请用你的视觉能力仔细查看草图,并再次用视觉能力检查你自己的作品:
node shot.cjs --help说明了一个提供的辅助工具,它可以在无头 Chrome 中按任意窗口大小、在点击或其他 JavaScript 步骤之后对 index.html 截图(如果你更喜欢自己的脚本,也安装了 Playwright),你可以用 read 工具查看任何截图。点击浏览每个功能,将每个屏幕与草图进行对比,并不断改进,直到你完全满意;然后回复一份简短总结,说明你构建了什么。
4-bit 模型
我们要求 4-bit GGUF 量化的 Inkling 2 Mini(IQ4_NL)为一个名为 plant therapy 的 SaaS 制作网站,在这个网站中,植物会被匹配给持证治疗师。
模型相当自主,它自己为网站上的视觉元素制作了 SVG,甚至构建了匹配逻辑,而这一切都来自一个简短的提示词:“你能为我的 SaaS 做一个网站吗?它叫 plant therapy,我把室内植物与持证治疗师匹配起来,这样植物就不会死,返回单个 HTML”。
“把自己变成浏览器代理”
我们将 Inkling 2 Mini 与 Pi 编码代理配对,使用 Helium、Chromium 和 Hugging Face Sandboxes 将它自身构建成一个浏览器代理。我们提供了轨迹和最终文件(可用作浏览器代理),在这个 bucket 中。
总结
我们非常高兴与 Thinking Machines Lab 合作推出 Inkling 2 Mini,这是一款面向本地部署环境的高性能中型模型。欢迎试用这款模型,并在评论区告诉我们你的想法!




