vLLM 官方博客T1·开发与工程
68 分
Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布后三周内完成深度优化,使模型在 150 TPS 约束下的智能体场景吞吐量提升 5.3 倍。核心突破在于集成了 DeepSeek 最新发布的 MegaAttention、Mega-mHC 等专用内核,并结合 SWA 有界重放与 CUDA 图技术将首字延迟(TTFT)降低约 30%。此外,通过激进的内核融合与并行化策略,进一步释放了该模型因果编码器-解码器架构在长上下文服务中的内存效率优势。