术语slug: p90-time-to-first-token

P90 首 token 延迟

P90 Time-to-First-Token

请求发出到模型输出首个 token 的等待时间第 90 百分位值,衡量服务响应尾部体验

收录情报动态

共 1 篇 · 第 1/1 页
新智元 (微信公众号)T2·智能体与协同
78 分
Claude 自写推理引擎 首 token 延迟从 12 秒降至 0.48 秒

CMU 与 NVIDIA 等机构在《Singularity-Bench》预印本中设置了一道题:给 Claude Opus 5.5 基础服务器代码、4 张 GB300 显卡和 12 小时,在禁止联网的条件下用 Claude Code 写出一套推理引擎。在 16 路并发真实编程会话回放中,该引擎的 P90 首 token 延迟约 0.48 秒,而成熟引擎 SGLang v0.5.20 约 12 秒。这一结果把“智能体能否构建智能体”从概念讨论推进到可复现的工程验证。