术语slug: gated-delta-network

门控增量网络

Gated Delta Network

一种结合门控机制与增量更新的线性注意力架构变体

收录情报动态

共 2 篇 · 第 1/1 页
vLLM 官方博客T1·开发与工程
68 分
vLLM 优化 Qwen3.5 混合架构:GB200 NVL72 实现单卡 25K TPS 吞吐突破

vLLM 社区针对 Qwen3.5 的混合注意力架构(全注意力与 GDN 层)完成深度优化,在 NVIDIA GB200 NVL72 系统上实现了单 GPU 超过 25K TPS 的推理吞吐量。通过解决异构状态传输与 Blackwell GPU 上的 GDN 计算加速难题,该方案显著提升了分离式服务(Disaggregated Serving)的性能上限。

Qwen 官方博客 (通义)T1·算力与基建
78 分
Qwen 开源 FlashQLA:GDN 线性注意力加速 2-3 倍

Qwen 团队正式开源基于 TileLang 的高性能线性注意力算子库 FlashQLA,专为 Gated Delta Network (GDN) 优化。该库通过 Gate 驱动的卡内序列并行与硬件友好的代数改写,在 NVIDIA Hopper 架构上实现前向计算 2-3 倍、反向计算 2 倍的加速,显著降低长上下文训练与推理开销。