vLLM 官方博客T1·78 分
DeepSeek-V4.1-Flash 在 Rubin NVL72 实现 58 倍吞吐提升
原标题:DeepSeek-V4.1-Flash on Vera Rubin NVL72: 58x Throughput vs. GB300 NVL72 at 387 tokens/s
- 单台 Vera Rubin NVL72 机架即可支撑 DeepSeek-V4.1-Flash 每 GPU 170 万 tokens/s 吞吐,单用户 387 tokens/s,较 GB300 NVL72 提升 58 倍
- 峰值吞吐达 252 万 tokens/s,单用户极限可达 1810 tokens/s
- 性能提升来自 Rubin 分离式内存与 FP4 张量核专用算子、低延迟解码内核,以及 NVLink 跨机架共享 KV 缓存与 Engram 表