NVIDIA 发布技术教程,展示如何用两台 DGX Station 通过 ConnectX-8 RDMA 互联,以 vLLM 张量并行(TP=2)方式本地部署 7530 亿参数的 GLM-5.3 NVFP4 量化模型,实现单端点 607.8 tok/s 的推理吞吐。核心难点在于 464 GB 权重超出单卡 252 GB HBM3e 容量,方案通过跨机张量并行将权重与计算分摊到两块 GB300 GPU,并禁用 CPU 权重卸载以保持全 GPU 驻留。该实践为前沿规模 MoE 模型的桌面级本地部署提供了可复现的工程路径与并发压测方法。
张量并行
Tensor Parallelism
将模型权重与计算按张量维度切分到多卡的并行策略
收录情报动态
StartLux 发布专为决策模型优化的开源推理引擎 Prism,在 H200 单卡上实现最高 5.3 倍于 vLLM 的加速。该引擎支持 TP/DP 混合并行与确定性输出,准确率保持 BF16 水平,标志着国产大模型技术栈向专用推理系统纵深演进。
Hugging Face 推出基于 TorchNeuron 的专用 Space,允许开发者直接查询热门 Transformers 模型在 AWS Trainium 芯片上的运行状态。该工具提供未修改代码下的兼容性结果、分片核心数及内存峰值等关键指标,旨在降低云原生 AI 基础设施的选型门槛。
vLLM 宣布从第一天起原生支持 Reflection 推出的 501B 参数混合专家(MoE)模型 Beam。通过引入 DFlash2 推测解码与自适应验证技术,单请求生成速度可达 708 tokens/s,且高并发下吞吐量额外提升 10%。此外,利用编码智能体自主优化内核,使批量解码和预填充性能分别提升 2.71 倍和 1.87 倍。
vLLM 与 Meta Superintelligence Labs 合作,为开源权重稀疏混合专家模型 Muse Spark Open 提供 Day 0 推理支持。该模型拥有 816B 总参数、42B 激活参数及 1M 上下文窗口,专为长程智能体编码工作流设计,并原生支持多模态感知。通过 Tensor/Pipeline/Expert Parallelism 及 DSpark 投机解码技术,在 Nvidia、AMD 和 TPU 上实现了高效部署与加速。
AWS 推出基于 Ray 的大语言模型深度学习容器(DLC),支持在 Amazon EKS 上将单个 LLM 部署至多个 GPU 节点。该方案通过 OpenAI 兼容接口统一暴露服务,并原生支持 Prefill 与 Decode 阶段的计算资源分离,旨在简化分布式推理架构的搭建与维护成本。
vLLM 团队针对 Kimi K3 模型完成了全栈性能优化,在 B300 节点上实现了最高 2.8 倍的吞吐量提升和 72%-85% 的首字延迟降低。核心突破包括自适应投机解码预算、内部 KDA 前缀检查点、零拷贝混合批次处理以及延迟 MXFP4 最终化技术。这些改进解决了 LatentMoE 架构下的调度瓶颈与小张量拷贝开销,显著提升了高并发场景下的推理效率。
vLLM 团队在 AMD Instinct MI355X 上对 MiniMax M3 进行了深度性能调优,将并发度 32 下的输出吞吐量从 109.1 提升至 342.4 tokens/s/GPU(提升 3.14 倍),并显著降低了首字延迟。该案例的核心价值在于展示了一套“跟随瓶颈”的系统化优化方法论,即在模型初步运行后,如何根据不断移动的硬件与软件瓶颈动态决定下一步的优化重点,而非单纯追求静态指标。
vLLM-Omni 框架针对 MiniMax H3 模型实施了系统级全栈优化,涵盖注意力机制、通信及并行 VAE 解码等组件。在此基础上,引入 FastVideo 的 FastH3 技术将 DiT 前向传播次数从 49 次大幅压缩至 4 次。实测显示,在 8 张 B300 GPU 上,该方案能在约 8.7 秒内生成完整的 10.125 秒 MP4 视频,实现了生成速度快于播放速度的“实时”标准。
vLLM 推出解码上下文并行(DCP)技术,专门解决长上下文推理中 KV Cache 在张量并行下因 GQA/MLA 架构导致的显存复制与容量瓶颈。该方案通过优化解码阶段的上下文分布,显著提升了 NVIDIA B200 GPU 上 Kimi K2.6 等模型处理 64K 至 1M Token 智能体工作负载的并发能力与内存效率。