vLLM 官方博客T1·78 分
vLLM 实现弹性专家并行近零停机扩缩容
原标题：Achieving near-zero-downtime scaling in Elastic Expert Parallelism
- 利用异步准备和 NIXL EP 将 16 到 20 GPU 扩容停机时间从 100 秒降至 0.82 秒
- 缩容至 16 GPU 的停机时间从 56 秒降至 1.96 秒
- 实现了在不重启服务的情况下动态调整 MoE 模型的专家并行度
返回热点榜
compute热度 11.3°
AI 聚合热点事件 · 2026/10/19
vLLM 实现弹性专家并行近零停机扩缩容
1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/10/19 08:00:00
全景综述与最新动态
1 家信源交叉印证vLLM 通过异步准备与 NIXL EP 技术，将弹性专家并行（Elastic EP）的 GPU 扩缩容停机时间从数十秒降至约 1-2 秒。该优化显著提升了 DeepSeek V4 Pro 等 MoE 模型在动态负载下的服务连续性，实现了近乎无感知的资源调度。
最新动向/vLLM 通过异步准备与 NIXL EP 技术，将弹性专家并行（Elastic EP）的 GPU 扩缩容停机时间从数十秒降至约 1-2 秒。该优化显著提升了 DeepSeek V4 Pro 等 MoE 模型在动态负载下的服务连续性，实现了近乎无感知的资源调度。
热度曲线逐小时热度走势
2 个完整观测小时连续完整观测不足 3 个小时，暂不绘制趋势曲线。