vLLM 官方博客T1·算力与基建
72 分
vLLM 社区推进 EPD(编码器/预填充/解码)解耦架构,将视觉编码阶段拆分为独立部署的实例,使其可随媒体大小与模态需求独立扩缩容。vLLM 主分支现已支持 DeepSeek V4.1 Flash 的纯元数据 EPD,并扩展至远程嵌入传输、共享缓存与请求路由等环节。
Encoder Disaggregation
将多模态编码阶段从预填充与解码中分离,独立部署与扩缩容的推理架构
vLLM 社区推进 EPD(编码器/预填充/解码)解耦架构,将视觉编码阶段拆分为独立部署的实例,使其可随媒体大小与模态需求独立扩缩容。vLLM 主分支现已支持 DeepSeek V4.1 Flash 的纯元数据 EPD,并扩展至远程嵌入传输、共享缓存与请求路由等环节。