vLLM 官方博客T1·68 分
vLLM 适配 NVIDIA Vera Rubin NVL72:通过 FlashInfer 调优内核实现 7.8 倍吞吐提升
原标题:vLLM Support for NVIDIA Vera Rubin NVL72: 7.8x Throughput over GB200 NVL72
- NVIDIA Vera Rubin NVL72 相比 GB200 NVL72 在 NVFP4 FLOPS 上提升 5 倍,HBM 带宽提升约 2.4 倍。
- vLLM 利用 Blackwell 架构兼容性实现 Day-0 支持,并通过 FlashInfer 0.7.0 获得针对 Rubin 优化的底层内核。
- 当前已支持 DeepSeek、Moonshot AI、Z.ai 和 MiniMax 等模型,并提供了 FP8 KV Cache 等高级配置选项。