算力估算工具:百万至万亿 Token 需多少 GPU?

原标题:How many GPUs is 1M/B/T tokens?
48AI 研判分

该工具提供从百万到万亿 Token 处理量的 GPU 需求估算,以 Llama 3.3 70B 为例,月处理 1 万亿 Token 约需 367 块 H100。其核心逻辑基于吞吐量、利用率及输入输出比例进行线性推导,并展示了不同假设对结果的影响范围。

报道正文

本文目录2 个章节

367 块 H100 GPU / base211Low853High468x H100 节点

在 Llama 3.3 70B 上,一个月内(30 天)处理 1 万亿个 token 大约需要 367 块 H100 GPU。置信度为中等。

1101001k10k单卡含 8 块 GPU 的节点基准估算合理范围对数坐标轴。选择一行以查看其计算过程。一份模型副本需要 3 块 V100 GPU(77 GB 对比 32 GB)。请将 V100 的结果视为理论值。

计算器如何得出 H100 的数量

每一步只改变一个量。请从左到右阅读。

  1. 01起始1 万亿token 一个月(30 天)
  2. 02÷ 2,592,000 秒385,802token/秒,平均值
  3. 03× 0.475 用于 token 混合比例183,256输出等效 token/秒
  4. 04÷ 50% 利用率366,512已安装容量的 token/秒
  5. 05÷ 每块 H100 1,000 tok/s367H100 GPU

gpus = tokens ÷ seconds × [output share + input share × input cost] ÷ utilization ÷ tok/s for each gpu

哪个假设对 H100 结果影响最大

每个条形图显示当某一个假设从其最佳情况变为其最差情况时的 GPU 数量。其他假设保持基准值不变。最长的条形图代表应首先测量的假设。

该模型的 H100 速度测量不确定性1,500 tok/s 时为 244**450 tok/s 时为 814平均利用率您的运营选择80% 时为 229**30% 时为 611输入 token 的成本测量不确定性为输出的 0.1 时为 251**为输出的 0.5 时为 482测量不确定性您的运营选择垂直线:基准值,取整前为 367 块 H100 GPU

GPU每块 GPU 的 tok/s每块 GPU 每天的 Tokens每份副本所需的 GPU 数LowBaseHigh8-GPU 节点
A10045040.93M14368151,966102
V10014413.10M31,3382,5477,122319
H1001,00090.95M121136785346
B2004,000363.79M1479225212

参考速度是指单块 GPU 的每秒 token 数,分为低、基准和高三个档位。“Measured”(实测)数值来自公开 benchmark,涵盖宽松和严格的延迟目标。“Estimated”(估算)数值没有直接的 benchmark 支持。

模型总参数 / 激活参数权重大小参考速度B200 ÷ H100依据来源
Llama 3.1 8B8B / 8B8 GBH100: 3,000, 6,000, 12,5002.3, 4, 6估算值。高数值基于一个实测点。morph »
Llama 3.3 70B70B / 70B70 GBH100: 450, 1,000, 1,5002.3, 4, 6在 H100 和 B200 上实测。inferencex » cerebrium »
gpt-oss 120B117B / 5.1B65 GBH100: 740, 1,400, 2,6006, 9, 12在 H100 和 B200 上实测。权重大小未经验证。inferencex »
DeepSeek V4 Flash284B / 13B160 GBB200: 1,500, 4,000, 9,0005, 9, 14估算值。未发现基准测试数据。根据 V4 Pro 和 gpt-oss 的激活参数进行缩放推算。datacamp »
MiniMax M3 428B428B / n/a428 GBH100: 157, 240, 5373.5, 4.5, 5.3在 H100 和 B200 上实测。权重大小假设采用 8-bit 量化。inferencex »
DeepSeek R1 / V3671B / 37B671 GBH100: 23, 75, 26612, 16, 21在 H100 和 B200 上实测。权重大小假设采用 8-bit 量化。inferencex »
GLM-5.3753B / 40B755 GBB200: 1,400, 3,000, 7,0004, 8, 16仅在 B200 上实测。数据来源存在分歧:GLM-5 在 FP4 精度下为 1,417 至 2,935,而 GLM-5.3 为 4,329 至 10,243。H100 比率基于估算。inferencex 5.3 » inferencex fp4/fp8 » size »
DeepSeek V4 Pro1600B / 49B1600 GBB200: 1,200, 2,500, 5,0006, 10, 18仅在 B200 上实测。H100 比率基于 DeepSeek R1/V3 趋势估算。inferencex »
假设数值依据来源
A100 ÷ H1000.35, 0.45, 0.60H100 在 70B 模型上的实测性能为 A100 的 1.8 倍至 2.9 倍hyperstack » perplexity »
V100 ÷ H1000.10, 0.18, 0.25仅基于规格参数:125 vs 312 TFLOPS,900 vs 2,039 GB/s。无 LLM 服务基准测试数据。spheron »
输入成本0.1, 0.3, 0.5源自 4x H100 上 128 和 2024 运行结果(结果为 0.33)e2e networks »
GPU 显存32, 80, 80, 180 GBV100, A100, H100, B200。适配性检查会在权重大小基础上增加 10%。inferencex »

数值读取日期为 2026 年 10 月 2 日。

  • 该结果仅为规划估算值。对于基于实测数据的预设,预期误差范围为双向 2 倍;对于基于估算的预设,误差可能更大。在购买硬件前,请务必在您的实际硬件上对模型进行测量。
  • 速度随延迟目标而变化。每个预设的低值和高值分别对应严格和宽松的延迟目标。
  • 对于大型混合专家(MoE)模型,B200 相对于 H100 的性能领先幅度为 4 倍至 21 倍。这主要得益于 FP4 支持和更大的显存容量。该比率因具体模型而异。
  • A100 和 V100 针对大型模型的测试结果均为理论值。单个模型副本所需的 GPU 数量超过单节点可容纳的数量。
  • V100 的数值没有经过实测的 LLM 服务数据支持,仅来源于硬件规格参数。
  • 该范围通过对数空间中的平方根和合并独立误差得出,并非统计置信区间。
  • 计算器未包含提示缓存、推测解码、推理 token 开销、故障或区域冗余等因素。