术语slug: tokens-per-second

TPS

Tokens Per Second

大语言模型每秒生成的文本单元数量指标

收录情报动态

共 3 篇 · 第 1/1 页
量子位官网T2·基座大模型
42 分
OpenAI 启动“疯狂 28 天”:GPT-6 推理提速 50%

OpenAI Codex 负责人宣布启动为期28天的密集更新计划,首日交付 GPT-6 Astra 和 Sol 模型约50%的默认推理速度提升。尽管官方强调性能优化,但因前期负载问题及商业化争议,社区反馈以嘲讽为主,认为此举是公关补救而非实质突破。

vLLM 官方博客T1·开发与工程
68 分
vLLM 优化 Qwen3.5 混合架构:GB200 NVL72 实现单卡 25K TPS 吞吐突破

vLLM 社区针对 Qwen3.5 的混合注意力架构(全注意力与 GDN 层)完成深度优化,在 NVIDIA GB200 NVL72 系统上实现了单 GPU 超过 25K TPS 的推理吞吐量。通过解决异构状态传输与 Blackwell GPU 上的 GDN 计算加速难题,该方案显著提升了分离式服务(Disaggregated Serving)的性能上限。