Anthropic 在 Claude 平台公测 Message Threads,通过仅传输增量消息而非完整历史,将长上下文请求的首字生成时间(TTFT)降低约 35%。该功能适用于编码代理和文档处理工作流,支持 AWS、Azure 和 Google Cloud,但总 Token 消耗量保持不变。
首字延迟
Time to First Token (TTFT)
从发送请求到生成第一个 token 所需的时间,衡量响应速度
收录情报动态
中国信通院发布《大模型词元服务性能监测报告(2026 年)》,显示国内日均 Token 消耗量达 500 万亿,较 2025 年底增长近 4 倍。尽管平均每秒输出词元数(TPS)实现翻倍,但首词时延(TTFT)因模型规模扩大而显著增加,且第三方平台与官方平台间存在明显性能分化。
AWS 发布技术指南,演示如何在 Amazon SageMaker AI 上部署轻量级 Kokoro-82M 模型。该方案通过逐句流式传输文本至 TTS 引擎,解决了传统全量合成导致的语音交互高延迟问题,显著提升了 AI 智能体的实时响应体验。
是石科技在CCF高性能计算学术大会上发布了TokenFleet分布式调度框架,旨在通过优化请求路由、跨机房容量协同和混合负载治理来提升国产算力集群的有效产出。该框架包含TokenPilot、FleetMind和SLOMax三项核心技术,宣称能将首Token延迟降低32.4%,并提高单位有效产出的经济性。
AI 基础设施企业无问芯穹宣布完成 23 亿元人民币 C 轮融资,累计融资额达 43 亿元,创下中国 AI 原生基础设施赛道最高纪录。该公司专注于“中间层”技术,通过 M×N 范式实现异构芯片混合训练与跨域调度,其首创的 PDD 架构使首 Token 延迟降低 51.5%,单 Token 成本降低 37.5%。此外,公司近期已秘密向港交所递交 IPO 申请,计划于 2027 年上半年挂牌上市。
vLLM 在 Prefill-Decode 分离架构中实现双向 KV Cache 传输,解决多轮 Agent 场景下重复计算历史 Token 导致的 TTFT 高延迟问题。该方案允许 Decode 节点将生成部分的 KV 状态回传至 Prefill 节点复用,显著降低上下文累积带来的推理开销。
阿里 Qoder 在桌面端推出 Fast 模式,将首次响应时间压缩至 3 秒,同时使 Credits 消耗降至 0.8x。该模式通过优化推理链路实现提速降本,官方实测显示其完成常见开发任务的速度约为国内同类产品的 1/3、海外竞品的 1/4。
vLLM 团队发布 vllm-metal,将 vLLM 的调度器、分页 KV 缓存和 OpenAI 兼容服务器引入 Apple Silicon。该工具利用 MLX 和 Metal 处理执行层,解决了 Mac 本地多请求并发时的首字延迟(TTFT)和内存管理问题。目前 v0.29.0 版本已支持 Homebrew 安装,并引入了批量多令牌预测(MTP)及 GGUF 模型支持。