vLLM 官方博客T1·72 分
vLLM 实现编码器解耦 多模态推理吞吐大幅提升
原标题:Encoder Disaggregation in vLLM: Scaling Multimodal Serving with EPD
- EPD 将编码、预填充、解码拆为独立 vLLM 实例,编码负载可独立扩缩容
- vLLM 主分支已支持 DeepSeek V4.1 Flash 的纯元数据 EPD
- 配套改进覆盖远程嵌入传输、共享缓存与多模态输入路由
AI 聚合热点事件 · 2026/11/11
vLLM 社区推进 EPD(编码器/预填充/解码)解耦架构,将视觉编码阶段拆分为独立部署的实例,使其可随媒体大小与模态需求独立扩缩容。vLLM 主分支现已支持 DeepSeek V4.1 Flash 的纯元数据 EPD,并扩展至远程嵌入传输、共享缓存与请求路由等环节。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:Encoder Disaggregation in vLLM: Scaling Multimodal Serving with EPD