Thinking Machines 开源 26.4B 循环 Transformer 模型
Thinking Machines 发布 Inkling 2 Mini,采用循环 Transformer 架构:仅存储 24 层,中间 12 层以共享权重重复运行 3 次,单 token 实际经过 48 层计算,约 20GB 检查点即可在 32GB Mac 上本地运行。模型总参数 26.4B、激活 3.4B,支持 1M 上下文,以 Apache 2.0 开源,SWE-bench Verified 达 79.2%,DeepSWE 1.1 以 48.2% 超过 Qwen3.8-27B 的 42.2%,但知识召回明显偏弱。
报道正文
▲ Marktechpost AI · 2026-11-21 12
▲ Thinking Machines 刚刚发布了 Inkling 2 Mini,这是一个 26.4B 的循环式 transformer,小到可以在 32GB 的 Mac 上运行。
核心思路是循环。该模型存储 24 层,但将中间 12 层以共享权重运行 3 次。这样,一个约 20GB 的检查点就能为每个 token 提供 48 次层传递,且每次传递都会从前一次传递获得一个门控“消息”。
数据方面:在 SWE-bench Verified(仅 bash)上达到 79.2%,在 DeepSWE 1.1 上达到 48.2%(Qwen3.8-27B 为 42.2%),在 AA Index 上为 20.1,与 Qwen3.8-27B 持平。不过这是一种权衡:知识召回能力落后,非幻觉率为 63.4%,MultiChallenge 上为 50.0%。
总计 26.4B,激活 3.4B,上下文最高 1M,Apache 2.0。可使用 vLLM、SGLang、Ollama 或 llama.cpp 部署,或使用托管在 Tinker 上的版本……
完整分析:
