系统吞吐量

单位时间内整个推理系统处理的总 Token 数量，反映集群或单卡在高并发下的整体处理能力