vLLM 官方博客T1·算力与基建
72 分
AMD 发布技术博客,介绍在 vLLM 中通过 FlyDSL 将解码阶段多个 GPU 内核融合为单内核(MonoKernel),以降低小批量、高交互场景下的内核调度与启动开销。该方案针对编码智能体等低并发、低延迟需求场景,试图解决 HIP Graph 无法消除的 GPU 侧开销问题。
MonoKernel
将解码阶段多个依赖内核融合为单一 GPU 内核,以消除内核边界调度与启动开销
AMD 发布技术博客,介绍在 vLLM 中通过 FlyDSL 将解码阶段多个 GPU 内核融合为单内核(MonoKernel),以降低小批量、高交互场景下的内核调度与启动开销。该方案针对编码智能体等低并发、低延迟需求场景,试图解决 HIP Graph 无法消除的 GPU 侧开销问题。