术语slug: prefill-decode-disaggregation

预填充/解码分离

Prefill/Decode Disaggregation

将 prefill 与 decode 阶段部署到独立资源池,避免长输入阻塞流式生成的架构

收录情报动态

共 10 篇 · 第 1/1 页
Marktechpost (@Marktechpost)T2·算力与基建
62 分
Sarvam 在印度开放 Token Factory 推理平台

印度 AI 公司 Sarvam 向所有用户开放 Sarvam Token Factory 推理平台,基于印度本地 GPU 集群同时托管自研模型与主流开源权重模型。其核心是共享前缀缓存与缓存感知路由,并将 prefill 与 decode 拆分到独立的 B200 资源池,官方自报在 Kimi K3.1 Pro 上单 GPU 吞吐达 6,177 tokens/s。不过部分场景下其流式速度仍落后 Together,且所有数据均为自报。

IT之家 · 智能时代T2·算力与基建
58 分
LG U+ 明年进军 AI Token 业务 异构芯片降本

韩国电信运营商 LG U+ 宣布将于明年进军 B2B AI Token 业务,通过 Harness Engineering、智能路由与异构芯片组合三项技术降低企业 AI 转型成本。其自研端侧模型体积缩小三分之一仍保持云端模型 95% 以上性能,配合小模型生成加大模型验证的流程,Token 生成速度提升两倍以上。此举意味着韩国三大电信运营商将全部进入 Token 经济领域。

Artificial Analysis (@ArtificialAnlys)T1·算力与基建
72 分
DeepSeek V4.1 Flash 在 GB300 NVL72 上单智能体推理提速 1.5 倍

Artificial Analysis 的 AA-AgentPerf 基准显示,DeepSeek V4.1 Flash 在 GB300 NVL72 上单智能体吞吐从 596 tok/s 提升至 848 tok/s(1.42 倍),每 GPU 吞吐约提升 1.6 倍。提速主要来自新版 vLLM 及其针对 GB300 的新内核、FlashInfer 自动调优、更完整的 CUDA Graph 覆盖、调优后的投机解码,以及 NVIDIA Dynamo + vLLM 方案中预填充与解码同卡运行。

AWS Machine Learning BlogT1·开发与工程
68 分
vLLM 引入推送式 KV 传输优化分离推理延迟

vLLM 推出基于 NIXL 连接器的推送式 KV 缓存传输机制,旨在解决预填充与解码分离架构中的通信瓶颈。该方案通过 RDMA 技术直接推送数据,显著降低首 Token 时间(TTFT)和每输出 Token 时间(TPOT),提升大规模 LLM 服务效率。

InfoQ 中文T2·开发与工程
48 分
范式智能开源模域平台,整合算力与模型部署

范式智能联合睿思智联推出免费开源的一站式AI部署平台“模域”(ModelSphere)。该平台整合了异构芯片管理、模型部署及运行优化功能,宣称通过AutoTune策略将极限吞吐提升285%。其核心在于降低企业使用国产算力芯片(如昇腾、海光)的适配门槛,提供图形化操作与企业级高可用保障。

机器之心 (微信公众号)T2·算力与基建
68 分
港科大与华为提出 BalanceRoute,优化大模型推理负载均衡提升吞吐

针对 MoE 模型在数据并行部署中因同步等待导致的吞吐瓶颈,港科大周子杰团队与华为联合提出 BalanceRoute 方案。该方案通过数学建模刻画负载不均衡,并将短期预测转化为在线路由决策,在 96 卡实验中使解码吞吐提升约 15%。目前该技术已被 NeurIPS 2026 接收并部署于 MathBot-Pie 系统。

vLLM 官方博客T1·开发与工程
78 分
vLLM 联合 AgentX 优化智能体服务:实现 DeepSeek V4 Pro 单卡 130K tokens/s 吞吐与成本优势

vLLM 针对智能体工作负载的多轮会话、长上下文及前缀复用特性,通过 KV 缓存管理、并行引擎优化及预填充/解码分离技术进行全栈调优。在 SemiAnalysis 的 AgentX 基准测试中,vLLM 在 DeepSeek V4 Pro 上达到每 GPU 秒 130K 总 token 吞吐量,并在 MiniMax M3 上实现 376 tokens/s 的交互速度。相比 Opus 5 API 定价,vLLM 在多款主流模型上展现出 14.6 倍至 106 倍的显著服务成本优势。