英伟达 Vera Rubin 首秀横扫 MLPerf 训练与端点基准
英伟达下一代 Vera Rubin 平台在 MLPerf 首秀中横扫 Training v6.1 全部基准,并在首次 MLPerf Endpoints 提交中实现智能体推理每瓦吞吐超 10 倍的代际提升。官方表示性能将随 CUDA 软件栈持续优化而继续攀升,意味着客户现有基础设施投资可随时间增值。
报道正文
本文目录3 个章节
在其 MLPerf 基准测试首次亮相中,随着今日结果的发布,NVIDIA Vera Rubin 平台在训练、后训练和智能体推理方面均展现出领先性能。
NVIDIA 横扫了所有 MLPerf Training v6.1 基准测试,并在其首次 MLPerf Endpoints 提交中,为智能体 AI 实现了每瓦吞吐量超过 10 倍的代际提升——该指标衡量系统每消耗一瓦电力所能交付的智能体工作量。
这些结果仅仅是开始。Vera Rubin 的性能将通过 NVIDIA CUDA 驱动的软件栈的持续优化而不断攀升,因此客户今天投资的基础设施将随时间推移带来更多价值。
NVIDIA 横扫 MLPerf Training v6.1
AI 智能体现已无处不在,它们编写代码、运行业务工作流、回答客户问题,并且正如本周 SC26 大会亮点所示,还在推动科学研究进步。
更快的训练意味着更智能的智能体能更早触达用户,药物发现模型能跟上新的实验室数据,欺诈检测模型能更快适应新威胁。
MLPerf Training 衡量系统将一系列 AI 模型训练至目标精度水平的速度。
NVIDIA 平台是本轮唯一在所有基准测试上均有结果的平台,涵盖大语言模型、图像生成、推荐系统和强化学习后训练。在其首次亮相中,Vera Rubin NVL72 每 GPU 性能最高达到经过高度优化的 NVIDIA GB300 NVL72 系统的 2 倍——这些早期结果表明了代际创新的步伐。

MLPerfTraining v6.1 结果于 2026 年 11 月 16 日从 www.mlcommons.org 检索,来自以下条目:6.1-0116、6.1-0030、6.1-0135、6.1-0020、6.1-0049、6.1-0123、6.1-0138、6.1-0073、6.1-0124、6.1-0129 和 6.1-0038。MLPerf 名称和徽标是 MLCommons Association 在美国和其他国家的商标。保留所有权利。严禁未经授权使用。更多信息请参见 www.mlcommons.org。
NVIDIA 还展示了规模化性能。在 DeepSeek-V3 基准测试中,Vera Rubin NVL72 从 256 个 GPU 扩展至 1,024 个 GPU,效率约为 97%:GPU 数量翻两番,训练时间从 16 分钟缩短至约 4 分钟。
NVIDIA 还在搭载 GB300 系统的 10,240 块 GPU 上运行了该基准测试,这是本轮中规模最大的一次。Microsoft Azure 则以搭载 GB200 系统的 10,240 块 NVIDIA GPU 达到了同等规模。
这一规模下的结果之所以重要,是因为只有当 GPU 能够高效协同工作时,增加 GPU 才能加速训练。NVIDIA NVLink scale-up 网络连接每个系统内的 GPU,使它们如同一体运作;而 NVIDIA Quantum-X800 InfiniBand 和 Spectrum-X Ethernet scale-out 网络则将这些系统跨数据中心连接起来。结合优化后的软件,这使数千块 GPU 协同工作,帮助开发者构建更智能的模型,同时缩短训练时间。
NVIDIA Vera Rubin 在 MLPerf Endpoints 上引领智能体推理
一个用于旅行的 AI 智能体可以规划并预订整个行程——或者一个 IT 智能体在任何人提交工单之前就发现并修复问题——它可能需要多次推理、调用工具并检查自己的工作,才能完成一项任务。
其中每一步都会生成 token。由于 AI 数据中心受限于功耗,系统每瓦功耗每秒能生成的 token 越多,它就能服务越多的智能体,创造的价值也越大。
MLPerf Endpoints 在真实的智能体编程和企业工作流上测试系统,并检查智能体是否仍能正确完成其任务。NVIDIA Vera Rubin 在其所有智能体基准测试中均处于领先地位。
例如,在针对 Kimi K3(一个为智能体工作流构建的大型开放模型)的暂定结果中,Vera Rubin NVL72 系统在相同响应速度下,每瓦吞吐量超过 NVIDIA GB300 NVL72 的 10 倍。

MLPerf® Endpoints v1.0,Kimi K3,标准化分区,可用类别,发布于 2026 年 11 月 9 日。NVIDIA Vera Rubin NVL72,32 个加速器,结果 1.0.1.kimi-k3.agentic_combined.1p,第 9 次运行:并发 = 1,024 个查询,TTFT P90 = 4,673.9 ms,系统 TPS = 41,414.2 tokens/秒,端到端平均交互性 = 每用户 50.4 tokens/秒,运行功率 = 100.89 kW。NVIDIA GB300 NVL72,48 个加速器,结果 1.0.0.kimi-k3.agentic_combined.1,第 6 次运行:并发 = 48 个查询,TTFT P90 = 2,305.1 ms,系统 TPS = 2,210.4 tokens/秒,端到端平均交互性 = 每用户 56.2 tokens/秒,运行功率 = 60 kW。比较基于在每用户 50 tokens/秒的共同最低端到端平均交互性下的每千瓦吞吐量。检索自 endpoints.mlcommons.org,2026 年 11 月 9 日。GB300 结果已由 MLCommons Association 验证。对于暂定的 Vera Rubin 结果:尚待 MLCommons Association 验证,结果可能会在同行评审后发生变化。MLPerf 名称和徽标是 MLCommons Association 在美国和其他国家的注册商标和非注册商标。保留所有权利。严禁未经授权使用。更多信息请参见 www.mlcommons.org。
每个 AI 服务都必须在同时服务大量用户与快速响应每位用户之间取得平衡。Vera Rubin 改变了整条曲线,在服务更多用户的同时响应更快。
跨基准测试与工作负载的领先表现
NVIDIA 合作伙伴广泛参与了 MLPerf Training,共有 20 个组织提交了结果:ASUS、Azure、Cisco、CoreWeave、Crusoe、Dell Technologies、Firmus、Fujitsu、Giga Computing、Google Cloud、HPE、Inventec、Krai、Lambda、Nebius、Oracle、Quanta Cloud Technology (QCT)、Supermicro、TTA 以及佛罗里达大学。
他们的提交结果展示了 NVIDIA 的可编程平台,配合开源库和框架,如何让庞大的合作伙伴生态系统能够创新并优化 AI 训练性能。
这种领先优势不仅限于 MLPerf。
Vera Rubin 还在包括 SemiAnalysis AgentX 和 Artificial Analysis AgentPerf 在内的独立基准测试中提供领先性能,展示了同一套 NVIDIA 基础设施如何高效运行从预训练、后训练到智能体推理的各类工作负载,以及 AI 之外的工作负载,例如本周在 SC26 上展示的高性能计算。
深入阅读 MLPerf Training 和MLPerf Endpoints技术博客,了解更多结果详情。