TPOT

单 Token 生成延迟（Time Per Output Token，TPOT）指模型在输出首个 Token 后的自回归生成阶段中，平均生成每个后续 Token 所花费的时间（通常以毫秒为单位），其倒数对应单请求生成速度（Tokens/s）。TPOT 主要受模型参数量、KV Cache 内存带宽、量化计算效率与批处理并发度制约。