AWS 发布基于 Amazon ElastiCache 的分布式 KV 缓存方案,在 GPU 集群旁构建共享缓存层,使任意服务器可复用数天内的 KV 状态,跨会话、路由切换与故障场景均有效。官方数据显示,该方案可将自托管 LLM 推理成本降低最多 40%,首 token 延迟(TTFT)降低最多 80%,直接缓解长上下文智能体反复预填充(prefill)造成的算力浪费。
预填充
Prefill
推理中一次性处理输入上下文并构建 KV Cache 的阶段,决定首 token 延迟
收录情报动态
英伟达提出 SEED 方法,利用混合模型“写记忆所需深层计算远少于预测下一 token”的读写不对称性,让除最后一个以外的输入 token 只运行前 31 层,再由轻量记忆写入组件为后续 17 层生成 KV Cache 与循环状态,生成阶段仍走完整 48 层。解码侧则将循环状态按主分量加低秩结构分解存储,单请求状态从 113.2MB 降至压缩后 29.2MB。在 GB300 与 SGLang 上,Qwen3.8-Flash-Next 每 GPU 峰值吞吐提升 16%~42%,原模型权重全程冻结,新增组件以蒸馏训练。
Cerebras 将分离式推理投入生产:GPU 负责 prefill,晶圆级引擎负责 decode,在保持同等超快速度下每兆瓦吞吐提升 5 倍。该方案已在其推理云上线,并开放给基础设施合作伙伴在自有数据中心部署,配合 CS-4 与 700MW 数据中心规划进一步扩张超快推理产能。
Artificial Analysis 调整 API 性能基准测试方法,将“任务耗时”(Time per Task)确立为衡量模型表现的核心指标,以替代传统的流式输出速度。该变更旨在反映智能体工作负载下,端到端完成效率比单纯 Token 生成速率更具实际意义,并优化了包含预填充和推理等待在内的全链路延迟测量逻辑。
最新研究发现,推理模型难以遵循思维链指令的主要原因之一是过度依赖以“Okay”开头的生成习惯。通过禁止该起始词并预填充一个合规 Token,模型的平均指令遵循率提升了 34% 至 41%。这一发现表明,思维链监控中的可控性问题需区分“起始词偏差”与“通用控制能力”,为安全对齐提供了新的优化视角。
TokenSpeed 推出专为 Agentic 工作负载设计的下一代 LLM 推理引擎,针对多轮短请求与长上下文复用场景优化。该引擎在 Blackwell 平台上实现比 TensorRT-LLM 高 11% 的吞吐率,并显著提升了 KV Cache 复用效率以降低成本。
Baseten 发布并开源了仅 20 亿参数的决策模型 joey-1,该模型通过单次预填充直接输出校准概率,无需生成任何文本 Token。在 Jev 决策指数测试中,joey-1 以 63.30 分成为 4B 以下最佳模型,推理延迟低至 20ms,为智能体路由和分类任务提供了极具性价比的轻量级解决方案。
viiwork 推出 KV-cache sharing 功能,允许在两台 RTX 5090 主机间通过以太网同步大模型推理的键值缓存。该机制解决了长上下文会话在负载均衡切换时因缓存丢失导致的重复预填充(prefill)延迟问题,显著提升了多节点部署下的响应效率。
DeepSeek 以 Apache 2.0 协议开源其生产级推理引擎 DeepInfer,该引擎专为 DeepSeek-V4.1-Flash 模型优化,支持 NVIDIA SM100 和华为 Ascend 950 芯片。尽管目前仅包含离线推理核心(如 DSpark 投机解码和 Bounded Replay 预填充优化),缺乏完整的服务栈组件,但其在发布 8 小时内即获得超 6300 个 GitHub Star,显示出社区对高性能底层推理技术的极高关注度。
是石科技在CCF高性能计算学术大会上发布了TokenFleet分布式调度框架,旨在通过优化请求路由、跨机房容量协同和混合负载治理来提升国产算力集群的有效产出。该框架包含TokenPilot、FleetMind和SLOMax三项核心技术,宣称能将首Token延迟降低32.4%,并提高单位有效产出的经济性。