谷歌 Ironwood TPU 集群 102 秒完成 DeepSeek-V3 预训练
谷歌云在 MLPerf Training v6.1 首轮提交 10 项成绩,其中 4 项基于第七代自研 Ironwood TPU。在 DeepSeek-V3 671B 预训练任务中,8192 颗 Ironwood 用时约 102 秒达标,4096 颗配置扩展效率达 96%,但同轮英伟达 10240 颗 GB300 以 82.8 秒取得该项目最短用时。本轮还首次纳入智能体强化学习测试,640 颗 Ironwood 运行 Qwen3.5-397B 在编程任务上以 76.5% 准确率达标。
报道正文
IT之家 11 月 17 日消息,谷歌云(Google Cloud)昨日(11 月 16 日)发布博文,在 MLPerf Training v6.1 基准测试第一轮中,提交了覆盖第七代 Ironwood TPU 与英伟达 Grace Blackwell GPU 的 10 项结果,涉及模型预训练,以及 MLPerf 首次纳入的智能体强化学习测试。
IT之家注:10 项成绩并非全部来自 Ironwood,其中 4 项使用谷歌自研芯片,另外 6 项采用英伟达 GPU。
在 DeepSeek-V3 预训练测试中,8,192 颗 Ironwood TPU 用时 1.70 分钟(约 102 秒),让目标模型达到基准规定的质量要求。谷歌同时披露,在扩展至 4,096 颗芯片的测试中,系统扩展效率达到 96%。
根据 MLCommons 发布的参赛方补充说明,谷歌在 DeepSeek-V3 671B 预训练项目中提交了三组 Ironwood 成绩:
| Ironwood 芯片数量 | 达到目标质量的时间 | 换算为秒 | 相对 2,048 颗配置的提速 |
|---|---|---|---|
| 2,048 颗 | 5.03 分钟 | 约 302 秒 | 基准 |
| 4,096 颗 | 2.62 分钟 | 约 157 秒 | 约 1.92 倍 |
| 8,192 颗 | 1.70 分钟 | 102 秒 | 约 2.96 倍 |
同轮 DeepSeek-V3 671B 测试中,可参考以下公开成绩:
| 提交方/平台 | 加速器配置 | 达标用时 |
|---|---|---|
| 英伟达 GB300 NVL72 集群 | 10,240 颗 GB300 GPU | 1.38 分钟,约 82.8 秒 |
| 谷歌 Ironwood 集群 | 8,192 颗 Ironwood TPU | 1.70 分钟,102 秒 |
| 英伟达 Vera Rubin NVL72 集群 | 1,024 颗 Rubin GPU | 4.14 分钟 |
| 英伟达 GB300 NVL72 集群 | 1,024 颗 GB300 GPU | 8.03 分钟 |
| 谷歌云 A4X Max | 256 颗 GB300 GPU | 31.96 分钟 |
Ironwood 及谷歌云 GB300 成绩来自谷歌披露,其余成绩来自英伟达本轮技术说明,英伟达将 10,240 颗 GB300 的 1.38 分钟列为本轮该项目最短用时。
在本轮首次引入的智能体强化学习测试中,640 颗 Ironwood 芯片运行 Qwen3.5-397B,用时 18.02 分钟达到编程任务要求,准确率为 76.5%,高于 69% 的目标。代码生成与学习同步进行,让训练芯片等待时间占比低于 3%。
在 Google Cloud A4X Max 实例中,256 块用于预训练基准的 NVIDIA GB300 GPU 在 31.96 分钟内达到目标质量,辅以 5 个 A4X 和 A4X Max 在 agentic RL 基准测试中的提交。
参考
- New AI training performance benchmarks for Google TPUs
- MLCommons Releases MLPerf Training v6.1 Results, Spotlighting Recent Advances in AI Training
- Supplemental Results Discussion for MLPerf Training v6.1
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。