术语slug: epd-disaggregation

EPD 解耦

EPD Disaggregation

编码器、预填充、解码三阶段分离部署的推理架构范式

收录情报动态

共 1 篇 · 第 1/1 页
vLLM 官方博客T1·算力与基建
72 分
vLLM 实现编码器解耦 多模态推理吞吐大幅提升

vLLM 社区推进 EPD(编码器/预填充/解码)解耦架构,将视觉编码阶段拆分为独立部署的实例,使其可随媒体大小与模态需求独立扩缩容。vLLM 主分支现已支持 DeepSeek V4.1 Flash 的纯元数据 EPD,并扩展至远程嵌入传输、共享缓存与请求路由等环节。