模型slug: qwen3-8-flash-next

Qwen3.8-Flash-Next

48 层混合架构模型,结合少量 softmax 注意力层与线性注意力/状态空间层

收录情报动态

共 1 篇 · 第 1/1 页
机器之心 (微信公众号)T2·算力与基建
78 分
英伟达 SEED 让预填充少算 17 层,每 GPU 吞吐最高提升 42%

英伟达提出 SEED 方法,利用混合模型“写记忆所需深层计算远少于预测下一 token”的读写不对称性,让除最后一个以外的输入 token 只运行前 31 层,再由轻量记忆写入组件为后续 17 层生成 KV Cache 与循环状态,生成阶段仍走完整 48 层。解码侧则将循环状态按主分量加低秩结构分解存储,单请求状态从 113.2MB 降至压缩后 29.2MB。在 GB300 与 SGLang 上,Qwen3.8-Flash-Next 每 GPU 峰值吞吐提升 16%~42%,原模型权重全程冻结,新增组件以蒸馏训练。