术语slug: hip-graph

HIP Graph

AMD ROCm 的计算图捕获机制,用于降低内核启动的 CPU 侧开销

收录情报动态

共 1 篇 · 第 1/1 页
vLLM 官方博客T1·算力与基建
72 分
AMD 在 vLLM 中用 FlyDSL 单内核降低解码延迟

AMD 发布技术博客,介绍在 vLLM 中通过 FlyDSL 将解码阶段多个 GPU 内核融合为单内核(MonoKernel),以降低小批量、高交互场景下的内核调度与启动开销。该方案针对编码智能体等低并发、低延迟需求场景,试图解决 HIP Graph 无法消除的 GPU 侧开销问题。