Tokens Per Second

衡量大语言模型推理性能的关键指标，指模型每秒生成的 token 数量，直接决定用户交互的延迟感和实时应用的可行性。