返回热点榜
compute热度 9.6°

AI 聚合热点事件 · 2026/11/18

AMD 在 vLLM 中用 FlyDSL 单内核降低解码延迟

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/18 08:00:00
全景综述与最新动态
1 家信源交叉印证

AMD 发布技术博客,介绍在 vLLM 中通过 FlyDSL 将解码阶段多个 GPU 内核融合为单内核(MonoKernel),以降低小批量、高交互场景下的内核调度与启动开销。该方案针对编码智能体等低并发、低延迟需求场景,试图解决 HIP Graph 无法消除的 GPU 侧开销问题。

最新动向/AMD 发布技术博客,介绍在 vLLM 中通过 FlyDSL 将解码阶段多个 GPU 内核融合为单内核(MonoKernel),以降低小批量、高交互场景下的内核调度与启动开销。该方案针对编码智能体等低并发、低延迟需求场景,试图解决 HIP Graph 无法消除的 GPU 侧开销问题。

逐小时热度走势

17 个完整观测小时
当前
9.6
峰值
14.123:00
近 24h 变化
-32%

曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。

报道时间线

共 1 篇 · 最新优先
  1. vLLM 官方博客T1·72 分

    AMD 在 vLLM 中用 FlyDSL 单内核降低解码延迟

    原标题:Keeping Agents Fast: High-Interactivity Decode with FlyDSL MonoKernels in vLLM

    • 将解码链路中的投影、注意力、专家计算等内核融合为单内核,减少 GPU 侧调度与启动开销
    • 针对低并发高交互场景优化每用户响应速度,而非聚合吞吐
    • HIP Graph 只能降低 CPU 启动开销,无法消除 GPU 侧内核边界成本