vLLM 引入基于推送的 KV 传输机制：优化分离式推理首字延迟与生成速度

1 篇报道存证1 家独立信源交叉印证持续跟踪至 2026/10/14 08:00:00

全景综述与最新动态

1 家信源交叉印证

vLLM 在分离式预填充-解码架构中引入了基于推送（Push-Based）的 KV Cache 传输策略，旨在解决跨节点数据搬运带来的高延迟瓶颈。该方案通过 NIXL 连接器利用 RDMA 网络高效移动 KV 块，显著改善了时间到首字（TTFT）和每输出令牌时间（TPOT）。这一更新为大规模 LLM 服务提供了更精细的底层网络调度能力，提升了资源利用率与响应速度。

最新动向/vLLM 在分离式预填充-解码架构中引入了基于推送（Push-Based）的 KV Cache 传输策略，旨在解决跨节点数据搬运带来的高延迟瓶颈。该方案通过 NIXL 连接器利用 RDMA 网络高效移动 KV 块，显著改善了时间到首字（TTFT）和每输出令牌时间（TPOT）。这一更新为大规模 LLM 服务提供了更精细的底层网络调度能力，提升了资源利用率与响应速度。

热度曲线逐小时热度走势

19 个完整观测小时

当前

13.0

峰值

20.008:00

近 24h 变化

-35%

曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。

TIMELINE报道时间线

共 1 篇 · 最新优先

vLLM 官方博客T1·10月14日 08:0068 分
vLLM 引入基于推送的 KV 传输机制：优化分离式推理首字延迟与生成速度
原标题：Push-Based KV Transfer to Improve TTFT and TPOT for Disaggregated Inference in vLLM
- vLLM 支持将预填充（Prefill）和解码（Decode）阶段分离部署，以独立优化计算与内存资源。
- 新引入的 Push-Based KV 传输机制通过 NIXL 连接器在 RDMA 网络上高效搬运 KV 缓存块。
- 该优化直接针对分离式推理中的网络瓶颈，显著降低了 TTFT 和 TPOT 指标。
查看存证研判原始网页