印度 AI 公司 Sarvam 向所有用户开放 Sarvam Token Factory 推理平台,基于印度本地 GPU 集群同时托管自研模型与主流开源权重模型。其核心是共享前缀缓存与缓存感知路由,并将 prefill 与 decode 拆分到独立的 B200 资源池,官方自报在 Kimi K3.1 Pro 上单 GPU 吞吐达 6,177 tokens/s。不过部分场景下其流式速度仍落后 Together,且所有数据均为自报。
预填充/解码分离
Prefill/Decode Disaggregation
将 prefill 与 decode 阶段部署到独立资源池,避免长输入阻塞流式生成的架构
收录情报动态
韩国电信运营商 LG U+ 宣布将于明年进军 B2B AI Token 业务,通过 Harness Engineering、智能路由与异构芯片组合三项技术降低企业 AI 转型成本。其自研端侧模型体积缩小三分之一仍保持云端模型 95% 以上性能,配合小模型生成加大模型验证的流程,Token 生成速度提升两倍以上。此举意味着韩国三大电信运营商将全部进入 Token 经济领域。
Artificial Analysis 的 AA-AgentPerf 基准显示,DeepSeek V4.1 Flash 在 GB300 NVL72 上单智能体吞吐从 596 tok/s 提升至 848 tok/s(1.42 倍),每 GPU 吞吐约提升 1.6 倍。提速主要来自新版 vLLM 及其针对 GB300 的新内核、FlashInfer 自动调优、更完整的 CUDA Graph 覆盖、调优后的投机解码,以及 NVIDIA Dynamo + vLLM 方案中预填充与解码同卡运行。
天数智芯首次开放天垓300通用GPU实机演示,披露第三方测试显示其在PD分离部署下端到端吞吐达到NVIDIA H200的1.05倍。该产品在长上下文、MoE模型及在线推荐等特定场景中表现优异,同时预告了算力达600T的下一代端侧产品TY2000。
vLLM 结合 P/D 分离与 Wide-EP 技术,在 NVIDIA GB300 NVL72 机架单 GPU 实现 954K tokens/s 的超高吞吐,解码性能与 DeepSeek 专用引擎 DeepInfer 差距小于 6%。该成果证明了通用推理引擎通过针对性工程优化,可在超大规模集群中媲美甚至超越模型专用引擎的效率。
vLLM 推出基于 NIXL 连接器的推送式 KV 缓存传输机制,旨在解决预填充与解码分离架构中的通信瓶颈。该方案通过 RDMA 技术直接推送数据,显著降低首 Token 时间(TTFT)和每输出 Token 时间(TPOT),提升大规模 LLM 服务效率。
范式智能联合睿思智联推出免费开源的一站式AI部署平台“模域”(ModelSphere)。该平台整合了异构芯片管理、模型部署及运行优化功能,宣称通过AutoTune策略将极限吞吐提升285%。其核心在于降低企业使用国产算力芯片(如昇腾、海光)的适配门槛,提供图形化操作与企业级高可用保障。
针对 MoE 模型在数据并行部署中因同步等待导致的吞吐瓶颈,港科大周子杰团队与华为联合提出 BalanceRoute 方案。该方案通过数学建模刻画负载不均衡,并将短期预测转化为在线路由决策,在 96 卡实验中使解码吞吐提升约 15%。目前该技术已被 NeurIPS 2026 接收并部署于 MathBot-Pie 系统。
AWS 推出基于 Ray 的大语言模型深度学习容器(DLC),支持在 Amazon EKS 上将单个 LLM 部署至多个 GPU 节点。该方案通过 OpenAI 兼容接口统一暴露服务,并原生支持 Prefill 与 Decode 阶段的计算资源分离,旨在简化分布式推理架构的搭建与维护成本。
vLLM 针对智能体工作负载的多轮会话、长上下文及前缀复用特性,通过 KV 缓存管理、并行引擎优化及预填充/解码分离技术进行全栈调优。在 SemiAnalysis 的 AgentX 基准测试中,vLLM 在 DeepSeek V4 Pro 上达到每 GPU 秒 130K 总 token 吞吐量,并在 MiniMax M3 上实现 376 tokens/s 的交互速度。相比 Opus 5 API 定价,vLLM 在多款主流模型上展现出 14.6 倍至 106 倍的显著服务成本优势。