vLLM 官方博客T1·算力与基建
78 分
vLLM 团队将 DeepSeek-V4.1-Flash 部署到单台 NVIDIA Vera Rubin NVL72 机架，实现每 GPU 170 万 tokens/s 吞吐、单用户 387 tokens/s，较 GB300 NVL72 提升 58 倍，峰值吞吐达 252 万 tokens/s。性能跃升主要来自针对 Rubin 分离式内存与 FP4 张量核调优的算子、低延迟专用解码内核，以及通过 NVLink 跨机架共享的 KV 缓存与 Engram 表。