Thinking Machines 开源 594B 参数 4-bit 训练模型

原标题:Thinking Machines Lab kept its promise and open-sourced Inkling 2 Small, a 594B-parameter model tra...
78AI 研判分

Thinking Machines Lab 兑现承诺,以 Apache 2.0 协议开源 Inkling 2 Small,这是一个 594B 参数、从预训练第一步到最终 RL rollout 全程采用原生 4-bit 前向传播训练的模型。4-bit 训练使预训练时间缩短 8%、RL 时间缩短 20%,仅带来约 2% 的效率损失,且发布的 4-bit checkpoint 无需额外校准。

报道正文

Rohan Paul (@rohanpaul_ai) · 2026-11-13 23

Thinking Machines Lab 兑现了承诺,开源了 Inkling 2 Small——一个采用 4-bit 前向传播训练的 594B 参数模型。

现已在 HuggingFace 上以 Apache 2.0 许可证提供下载 采用 4-bit 训练使预训练时间缩短了 8%,RL 时间缩短了 20%,效率损失约为 2%。

运行该模型在 NVFP4 下至少需要 500GB GPU 显存,在 MXFP8 下至少需要 800GB,而在评测中 MXFP8 相比 NVFP4 仅提升“非常微弱的 1–2 个百分点”。

由于训练从预训练到最终的 RL rollout 全程保持了相同的数值表示,发布的 4-bit checkpoint 无需单独的校准步骤。

该实验室最初尝试在前向和反向传播中都使用 NVFP4,但这严重损害了计算效率,因此只有前向传播保持 4-bit。

↳ 引用 @thinkymachines (Thinking Machines): 用更少的比特训练速度更快,但量化误差可能干扰学习。

今天在 Connectionism 上,我们详细介绍了如何从预训练的第一步到最终的 RL rollout,全程使用原生 4-bit 前向传播来训练 Inkling 2 Small。 https://thinkingmachines.ai/blog/end-to-end-4-bit-training

推文配图