vLLM 官方博客T1·85 分
vLLM 在 GB300 NVL72 上大规模部署 DeepSeek-V4.1-Flash,性能逼近专用引擎
原标题:Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72
- vLLM 在 GB300 NVL72 上实现单 GPU 954K tokens/s 吞吐,较单节点提升 7.9 倍
- 通过 P/D 分离和 Wide-EP 优化,vLLM 解码性能与 DeepSeek 专用引擎 DeepInfer 差距控制在 6% 以内
- 研究指出 CPU 开销在 NVL72 规模下成为关键瓶颈,且小型 DEP 实例更利于预填充