Hugging Face BlogT1·基座大模型
74 分
Thinking Machines Lab 与 Hugging Face 联合发布 Inkling 2 Mini,这是一款面向本地部署的多模态混合专家模型,物理参数约 26B、每 token 激活 3B。其核心创新在于部分层循环三次以放大有效容量,支持 100 万 token 上下文与图文输入,并以 NVFP4/MXFP8 混合精度权重加 DSpark 草稿模型实现加速。
由 Mira Murati 创立的人工智能研究实验室,专注模型训练与推理效率研究
Thinking Machines Lab 与 Hugging Face 联合发布 Inkling 2 Mini,这是一款面向本地部署的多模态混合专家模型,物理参数约 26B、每 token 激活 3B。其核心创新在于部分层循环三次以放大有效容量,支持 100 万 token 上下文与图文输入,并以 NVFP4/MXFP8 混合精度权重加 DSpark 草稿模型实现加速。
Thinking Machines Lab 兑现承诺,以 Apache 2.0 协议开源 Inkling 2 Small,这是一个 594B 参数、从预训练第一步到最终 RL rollout 全程采用原生 4-bit 前向传播训练的模型。4-bit 训练使预训练时间缩短 8%、RL 时间缩短 20%,仅带来约 2% 的效率损失,且发布的 4-bit checkpoint 无需额外校准。