vLLM 官方博客T1·算力与基建
72 分
AMD 发布技术博客,介绍在 vLLM 中通过 FlyDSL 将解码阶段多个 GPU 内核融合为单内核(MonoKernel),以降低小批量、高交互场景下的内核调度与启动开销。该方案针对编码智能体等低并发、低延迟需求场景,试图解决 HIP Graph 无法消除的 GPU 侧开销问题。
用于编写与融合 GPU 内核的领域特定语言,本文用于生成解码单内核
AMD 发布技术博客,介绍在 vLLM 中通过 FlyDSL 将解码阶段多个 GPU 内核融合为单内核(MonoKernel),以降低小批量、高交互场景下的内核调度与启动开销。该方案针对编码智能体等低并发、低延迟需求场景,试图解决 HIP Graph 无法消除的 GPU 侧开销问题。