机器之心 (微信公众号)T2·78 分
英伟达 SEED 让预填充少算 17 层,每 GPU 吞吐最高提升 42%
原标题:写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%
- 核心洞察是读写不对称:为后续生成写记忆所需的深层计算远少于逐 token 预测
- 预填充阶段非末位 token 只跑 31/48 层,解码仍走完整层数,权重冻结、新增组件蒸馏训练
- 循环状态按主分量加低秩分解存储,单请求状态由 113.2MB 降至压缩后 29.2MB
- GB300 + SGLang 上每 GPU 峰值吞吐提升 16%~42%,等 P90 输出速率下提升 23%~42%