术语slug: recurrent-state

循环状态

Recurrent State

线性注意力与状态空间层维护的固定大小状态,随每 token 读写更新

收录情报动态

共 1 篇 · 第 1/1 页
机器之心 (微信公众号)T2·算力与基建
78 分
英伟达 SEED 让预填充少算 17 层,每 GPU 吞吐最高提升 42%

英伟达提出 SEED 方法,利用混合模型“写记忆所需深层计算远少于预测下一 token”的读写不对称性,让除最后一个以外的输入 token 只运行前 31 层,再由轻量记忆写入组件为后续 17 层生成 KV Cache 与循环状态,生成阶段仍走完整 48 层。解码侧则将循环状态按主分量加低秩结构分解存储,单请求状态从 113.2MB 降至压缩后 29.2MB。在 GB300 与 SGLang 上,Qwen3.8-Flash-Next 每 GPU 峰值吞吐提升 16%~42%,原模型权重全程冻结,新增组件以蒸馏训练。