术语slug: time-to-first-token-ttft

首字延迟

Time to First Token (TTFT)

从发送请求到生成第一个 token 所需的时间,衡量响应速度

收录情报动态

共 8 篇 · 第 1/1 页
IT之家 · 智能时代T2·商业与生态
72 分
信通院报告:国内 Token 日均消耗破 500 万亿,吞吐翻倍但时延上升

中国信通院发布《大模型词元服务性能监测报告(2026 年)》,显示国内日均 Token 消耗量达 500 万亿,较 2025 年底增长近 4 倍。尽管平均每秒输出词元数(TPS)实现翻倍,但首词时延(TTFT)因模型规模扩大而显著增加,且第三方平台与官方平台间存在明显性能分化。

量子位官网T2·算力与基建
48 分
是石科技发布 TokenFleet 调度框架,首 Token 延迟降 32.4%

是石科技在CCF高性能计算学术大会上发布了TokenFleet分布式调度框架,旨在通过优化请求路由、跨机房容量协同和混合负载治理来提升国产算力集群的有效产出。该框架包含TokenPilot、FleetMind和SLOMax三项核心技术,宣称能将首Token延迟降低32.4%,并提高单位有效产出的经济性。

IT之家 · 智能时代T2·商业与生态
78 分
无问芯穹完成 23 亿元 C 轮融资创 AI Infra 纪录:异构算力调度与 PD 分离架构驱动成本骤降

AI 基础设施企业无问芯穹宣布完成 23 亿元人民币 C 轮融资,累计融资额达 43 亿元,创下中国 AI 原生基础设施赛道最高纪录。该公司专注于“中间层”技术,通过 M×N 范式实现异构芯片混合训练与跨域调度,其首创的 PDD 架构使首 Token 延迟降低 51.5%,单 Token 成本降低 37.5%。此外,公司近期已秘密向港交所递交 IPO 申请,计划于 2027 年上半年挂牌上市。

vLLM 官方博客T1·开发与工程
68 分
vLLM 推出 vllm-metal:在 Apple Silicon 实现并发推理与 OpenAI 兼容服务

vLLM 团队发布 vllm-metal,将 vLLM 的调度器、分页 KV 缓存和 OpenAI 兼容服务器引入 Apple Silicon。该工具利用 MLX 和 Metal 处理执行层,解决了 Mac 本地多请求并发时的首字延迟(TTFT)和内存管理问题。目前 v0.29.0 版本已支持 Homebrew 安装,并引入了批量多令牌预测(MTP)及 GGUF 模型支持。