术语slug: weight-sharing

权重共享

Weight Sharing

多个层或计算步骤复用同一组参数以压缩模型体积的技术

收录情报动态

共 1 篇 · 第 1/1 页
Marktechpost (@Marktechpost)T2·基座大模型
78 分
Thinking Machines 开源 26.4B 循环 Transformer 模型

Thinking Machines 发布 Inkling 2 Mini,采用循环 Transformer 架构:仅存储 24 层,中间 12 层以共享权重重复运行 3 次,单 token 实际经过 48 层计算,约 20GB 检查点即可在 32GB Mac 上本地运行。模型总参数 26.4B、激活 3.4B,支持 1M 上下文,以 Apache 2.0 开源,SWE-bench Verified 达 79.2%,DeepSWE 1.1 以 48.2% 超过 Qwen3.8-27B 的 42.2%,但知识召回明显偏弱。