Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
Thinking Machines Lab 兑现承诺,以 Apache 2.0 协议开源 Inkling 2 Small,这是一个 594B 参数、从预训练第一步到最终 RL rollout 全程采用原生 4-bit 前向传播训练的模型。4-bit 训练使预训练时间缩短 8%、RL 时间缩短 20%,仅带来约 2% 的效率损失,且发布的 4-bit checkpoint 无需额外校准。
4-bit Training
在预训练与强化学习全流程使用 4 位精度前向传播以降低算力开销
Thinking Machines Lab 兑现承诺,以 Apache 2.0 协议开源 Inkling 2 Small,这是一个 594B 参数、从预训练第一步到最终 RL rollout 全程采用原生 4-bit 前向传播训练的模型。4-bit 训练使预训练时间缩短 8%、RL 时间缩短 20%,仅带来约 2% 的效率损失,且发布的 4-bit checkpoint 无需额外校准。