返回热点榜
compute热度 9.0°

AI 聚合热点事件 · 2026/11/19

英伟达 SEED 让预填充少算 17 层,每 GPU 吞吐最高提升 42%

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/19 12:09:00
全景综述与最新动态
1 家信源交叉印证

英伟达提出 SEED 方法,利用混合模型“写记忆所需深层计算远少于预测下一 token”的读写不对称性,让除最后一个以外的输入 token 只运行前 31 层,再由轻量记忆写入组件为后续 17 层生成 KV Cache 与循环状态,生成阶段仍走完整 48 层。解码侧则将循环状态按主分量加低秩结构分解存储,单请求状态从 113.2MB 降至压缩后 29.2MB。在 GB300 与 SGLang 上,Qwen3.8-Flash-Next 每 GPU 峰值吞吐提升 16%~42%,原模型权重全程冻结,新增组件以蒸馏训练。

最新动向/英伟达提出 SEED 方法,利用混合模型“写记忆所需深层计算远少于预测下一 token”的读写不对称性,让除最后一个以外的输入 token 只运行前 31 层,再由轻量记忆写入组件为后续 17 层生成 KV Cache 与循环状态,生成阶段仍走完整 48 层。解码侧则将循环状态按主分量加低秩结构分解存储,单请求状态从 113.2MB 降至压缩后 29.2MB。在 GB300 与 SGLang 上,Qwen3.8-Flash-Next 每 GPU 峰值吞吐提升 16%~42%,原模型权重全程冻结,新增组件以蒸馏训练。

逐小时热度走势

2 个完整观测小时
连续完整观测不足 3 个小时,暂不绘制趋势曲线。

报道时间线

共 1 篇 · 最新优先
  1. 机器之心 (微信公众号)T2·78 分

    英伟达 SEED 让预填充少算 17 层,每 GPU 吞吐最高提升 42%

    原标题:写入记忆,何必读完整个网络?英伟达SEED每GPU吞吐最高提升42%

    • 核心洞察是读写不对称:为后续生成写记忆所需的深层计算远少于逐 token 预测
    • 预填充阶段非末位 token 只跑 31/48 层,解码仍走完整层数,权重冻结、新增组件蒸馏训练
    • 循环状态按主分量加低秩分解存储,单请求状态由 113.2MB 降至压缩后 29.2MB
    • GB300 + SGLang 上每 GPU 峰值吞吐提升 16%~42%,等 P90 输出速率下提升 23%~42%