术语slug: seed-term

浅层编码深记忆

SEED

利用混合模型读写不对称性,以浅层计算写入深层记忆的预填充与状态压缩方法

收录情报动态

共 1 篇 · 第 1/1 页
机器之心 (微信公众号)T2·算力与基建
78 分
英伟达 SEED 让预填充少算 17 层,每 GPU 吞吐最高提升 42%

英伟达提出 SEED 方法,利用混合模型“写记忆所需深层计算远少于预测下一 token”的读写不对称性,让除最后一个以外的输入 token 只运行前 31 层,再由轻量记忆写入组件为后续 17 层生成 KV Cache 与循环状态,生成阶段仍走完整 48 层。解码侧则将循环状态按主分量加低秩结构分解存储,单请求状态从 113.2MB 降至压缩后 29.2MB。在 GB300 与 SGLang 上,Qwen3.8-Flash-Next 每 GPU 峰值吞吐提升 16%~42%,原模型权重全程冻结,新增组件以蒸馏训练。