推理吞吐量

单位时间内模型处理请求或生成 Token 的数量，衡量服务效率的关键指标