算力估算工具:百万至万亿 Token 需多少 GPU?
该工具提供从百万到万亿 Token 处理量的 GPU 需求估算,以 Llama 3.3 70B 为例,月处理 1 万亿 Token 约需 367 块 H100。其核心逻辑基于吞吐量、利用率及输入输出比例进行线性推导,并展示了不同假设对结果的影响范围。
报道正文
本文目录2 个章节
367 块 H100 GPU / base211Low853High468x H100 节点
在 Llama 3.3 70B 上,一个月内(30 天)处理 1 万亿个 token 大约需要 367 块 H100 GPU。置信度为中等。
1101001k10k单卡含 8 块 GPU 的节点基准估算合理范围对数坐标轴。选择一行以查看其计算过程。一份模型副本需要 3 块 V100 GPU(77 GB 对比 32 GB)。请将 V100 的结果视为理论值。
计算器如何得出 H100 的数量
每一步只改变一个量。请从左到右阅读。
- 01起始1 万亿token 一个月(30 天)
- 02÷ 2,592,000 秒385,802token/秒,平均值
- 03× 0.475 用于 token 混合比例183,256输出等效 token/秒
- 04÷ 50% 利用率366,512已安装容量的 token/秒
- 05÷ 每块 H100 1,000 tok/s367H100 GPU
gpus = tokens ÷ seconds × [output share + input share × input cost] ÷ utilization ÷ tok/s for each gpu
哪个假设对 H100 结果影响最大
每个条形图显示当某一个假设从其最佳情况变为其最差情况时的 GPU 数量。其他假设保持基准值不变。最长的条形图代表应首先测量的假设。
该模型的 H100 速度测量不确定性1,500 tok/s 时为 244**450 tok/s 时为 814平均利用率您的运营选择80% 时为 229**30% 时为 611输入 token 的成本测量不确定性为输出的 0.1 时为 251**为输出的 0.5 时为 482测量不确定性您的运营选择垂直线:基准值,取整前为 367 块 H100 GPU
| GPU | 每块 GPU 的 tok/s | 每块 GPU 每天的 Tokens | 每份副本所需的 GPU 数 | Low | Base | High | 8-GPU 节点 |
|---|---|---|---|---|---|---|---|
| A100 | 450 | 40.93M | 1 | 436 | 815 | 1,966 | 102 |
| V100 | 144 | 13.10M | 3 | 1,338 | 2,547 | 7,122 | 319 |
| H100 | 1,000 | 90.95M | 1 | 211 | 367 | 853 | 46 |
| B200 | 4,000 | 363.79M | 1 | 47 | 92 | 252 | 12 |
参考速度是指单块 GPU 的每秒 token 数,分为低、基准和高三个档位。“Measured”(实测)数值来自公开 benchmark,涵盖宽松和严格的延迟目标。“Estimated”(估算)数值没有直接的 benchmark 支持。
| 模型 | 总参数 / 激活参数 | 权重大小 | 参考速度 | B200 ÷ H100 | 依据 | 来源 |
|---|---|---|---|---|---|---|
| Llama 3.1 8B | 8B / 8B | 8 GB | H100: 3,000, 6,000, 12,500 | 2.3, 4, 6 | 估算值。高数值基于一个实测点。 | morph » |
| Llama 3.3 70B | 70B / 70B | 70 GB | H100: 450, 1,000, 1,500 | 2.3, 4, 6 | 在 H100 和 B200 上实测。 | inferencex » cerebrium » |
| gpt-oss 120B | 117B / 5.1B | 65 GB | H100: 740, 1,400, 2,600 | 6, 9, 12 | 在 H100 和 B200 上实测。权重大小未经验证。 | inferencex » |
| DeepSeek V4 Flash | 284B / 13B | 160 GB | B200: 1,500, 4,000, 9,000 | 5, 9, 14 | 估算值。未发现基准测试数据。根据 V4 Pro 和 gpt-oss 的激活参数进行缩放推算。 | datacamp » |
| MiniMax M3 428B | 428B / n/a | 428 GB | H100: 157, 240, 537 | 3.5, 4.5, 5.3 | 在 H100 和 B200 上实测。权重大小假设采用 8-bit 量化。 | inferencex » |
| DeepSeek R1 / V3 | 671B / 37B | 671 GB | H100: 23, 75, 266 | 12, 16, 21 | 在 H100 和 B200 上实测。权重大小假设采用 8-bit 量化。 | inferencex » |
| GLM-5.3 | 753B / 40B | 755 GB | B200: 1,400, 3,000, 7,000 | 4, 8, 16 | 仅在 B200 上实测。数据来源存在分歧:GLM-5 在 FP4 精度下为 1,417 至 2,935,而 GLM-5.3 为 4,329 至 10,243。H100 比率基于估算。 | inferencex 5.3 » inferencex fp4/fp8 » size » |
| DeepSeek V4 Pro | 1600B / 49B | 1600 GB | B200: 1,200, 2,500, 5,000 | 6, 10, 18 | 仅在 B200 上实测。H100 比率基于 DeepSeek R1/V3 趋势估算。 | inferencex » |
| 假设 | 数值 | 依据 | 来源 |
|---|---|---|---|
| A100 ÷ H100 | 0.35, 0.45, 0.60 | H100 在 70B 模型上的实测性能为 A100 的 1.8 倍至 2.9 倍 | hyperstack » perplexity » |
| V100 ÷ H100 | 0.10, 0.18, 0.25 | 仅基于规格参数:125 vs 312 TFLOPS,900 vs 2,039 GB/s。无 LLM 服务基准测试数据。 | spheron » |
| 输入成本 | 0.1, 0.3, 0.5 | 源自 4x H100 上 128 和 2024 运行结果(结果为 0.33) | e2e networks » |
| GPU 显存 | 32, 80, 80, 180 GB | V100, A100, H100, B200。适配性检查会在权重大小基础上增加 10%。 | inferencex » |
数值读取日期为 2026 年 10 月 2 日。
- 该结果仅为规划估算值。对于基于实测数据的预设,预期误差范围为双向 2 倍;对于基于估算的预设,误差可能更大。在购买硬件前,请务必在您的实际硬件上对模型进行测量。
- 速度随延迟目标而变化。每个预设的低值和高值分别对应严格和宽松的延迟目标。
- 对于大型混合专家(MoE)模型,B200 相对于 H100 的性能领先幅度为 4 倍至 21 倍。这主要得益于 FP4 支持和更大的显存容量。该比率因具体模型而异。
- A100 和 V100 针对大型模型的测试结果均为理论值。单个模型副本所需的 GPU 数量超过单节点可容纳的数量。
- V100 的数值没有经过实测的 LLM 服务数据支持,仅来源于硬件规格参数。
- 该范围通过对数空间中的平方根和合并独立误差得出,并非统计置信区间。
- 计算器未包含提示缓存、推测解码、推理 token 开销、故障或区域冗余等因素。