Hacker News AIT2·算力与基建
48 分
该工具提供从百万到万亿 Token 处理量的 GPU 需求估算,以 Llama 3.3 70B 为例,月处理 1 万亿 Token 约需 367 块 H100。其核心逻辑基于吞吐量、利用率及输入输出比例进行线性推导,并展示了不同假设对结果的影响范围。
NVIDIA 推出的高性能数据中心 GPU,广泛用于大模型训练与推理
该工具提供从百万到万亿 Token 处理量的 GPU 需求估算,以 Llama 3.3 70B 为例,月处理 1 万亿 Token 约需 367 块 H100。其核心逻辑基于吞吐量、利用率及输入输出比例进行线性推导,并展示了不同假设对结果的影响范围。