术语slug: 4-bit-training

4-bit 训练

4-bit Training

在预训练与强化学习全流程使用 4 位精度前向传播以降低算力开销

收录情报动态

共 1 篇 · 第 1/1 页
Rohan Paul (@rohanpaul_ai)T2·基座大模型
78 分
Thinking Machines 开源 594B 参数 4-bit 训练模型

Thinking Machines Lab 兑现承诺,以 Apache 2.0 协议开源 Inkling 2 Small,这是一个 594B 参数、从预训练第一步到最终 RL rollout 全程采用原生 4-bit 前向传播训练的模型。4-bit 训练使预训练时间缩短 8%、RL 时间缩短 20%,仅带来约 2% 的效率损失,且发布的 4-bit checkpoint 无需额外校准。