术语slug: encoder-disaggregation

编码器解耦

Encoder Disaggregation

将多模态编码阶段从预填充与解码中分离,独立部署与扩缩容的推理架构

收录情报动态

共 1 篇 · 第 1/1 页
vLLM 官方博客T1·算力与基建
72 分
vLLM 实现编码器解耦 多模态推理吞吐大幅提升

vLLM 社区推进 EPD(编码器/预填充/解码)解耦架构,将视觉编码阶段拆分为独立部署的实例,使其可随媒体大小与模态需求独立扩缩容。vLLM 主分支现已支持 DeepSeek V4.1 Flash 的纯元数据 EPD,并扩展至远程嵌入传输、共享缓存与请求路由等环节。