术语slug: cuda-graphs

CUDA 图

CUDA Graphs

将 GPU 操作序列捕获为静态图以减少启动开销的技术

收录情报动态

共 2 篇 · 第 1/1 页
vLLM 官方博客T1·开发与工程
68 分
vLLM 优化 DeepSeek-V4.1-Flash:集成新内核与 CUDA 图实现智能体吞吐提升 5.3 倍

Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布后三周内完成深度优化,使模型在 150 TPS 约束下的智能体场景吞吐量提升 5.3 倍。核心突破在于集成了 DeepSeek 最新发布的 MegaAttention、Mega-mHC 等专用内核,并结合 SWA 有界重放与 CUDA 图技术将首字延迟(TTFT)降低约 30%。此外,通过激进的内核融合与并行化策略,进一步释放了该模型因果编码器-解码器架构在长上下文服务中的内存效率优势。

vLLM 官方博客T1·开发与工程
68 分
vLLM-Omni 发布 Qwen3-Omni 多阶段推理方案:三阶段流水线与异步优化显著降低音频首包延迟

vLLM-Omni 项目公开了针对 Qwen3-Omni 的多模态大模型在线服务架构,采用 Thinker、Talker 和 Code2Wav 的三阶段流水线设计。通过引入分阶段批处理、CUDA Graphs 捕获及异步块传输等底层优化手段,该方案有效解决了高并发场景下的解码阻塞问题,并显著降低了音频生成的首包延迟(TTFP)。这一实践为全模态模型的工程化落地提供了可复用的性能调优范式。