术语slug: tensor-parallelism

张量并行

Tensor Parallelism

将模型权重与计算按张量维度切分到多卡的并行策略

收录情报动态

共 11 篇 · 第 1/2 页
Hacker News AIT2·算力与基建
72 分
双 DGX Station 本地部署 GLM-5.3 达 607.8 tok/s

NVIDIA 发布技术教程,展示如何用两台 DGX Station 通过 ConnectX-8 RDMA 互联,以 vLLM 张量并行(TP=2)方式本地部署 7530 亿参数的 GLM-5.3 NVFP4 量化模型,实现单端点 607.8 tok/s 的推理吞吐。核心难点在于 464 GB 权重超出单卡 252 GB HBM3e 容量,方案通过跨机张量并行将权重与计算分摊到两块 GB300 GPU,并禁用 CPU 权重卸载以保持全 GPU 驻留。该实践为前沿规模 MoE 模型的桌面级本地部署提供了可复现的工程路径与并发压测方法。

Hugging Face BlogT1·开发与工程
42 分
Hugging Face 上线 AWS Trainium 模型兼容性查询工具

Hugging Face 推出基于 TorchNeuron 的专用 Space,允许开发者直接查询热门 Transformers 模型在 AWS Trainium 芯片上的运行状态。该工具提供未修改代码下的兼容性结果、分片核心数及内存峰值等关键指标,旨在降低云原生 AI 基础设施的选型门槛。

vLLM 官方博客T1·基座大模型
78 分
vLLM 原生支持 Reflection Beam 501B MoE 模型,推理速度提升显著

vLLM 宣布从第一天起原生支持 Reflection 推出的 501B 参数混合专家(MoE)模型 Beam。通过引入 DFlash2 推测解码与自适应验证技术,单请求生成速度可达 708 tokens/s,且高并发下吞吐量额外提升 10%。此外,利用编码智能体自主优化内核,使批量解码和预填充性能分别提升 2.71 倍和 1.87 倍。

vLLM 官方博客T1·基座大模型
68 分
vLLM 实现 Muse Spark Open Day 0 支持:816B MoE 模型赋能长程智能体编码

vLLM 与 Meta Superintelligence Labs 合作,为开源权重稀疏混合专家模型 Muse Spark Open 提供 Day 0 推理支持。该模型拥有 816B 总参数、42B 激活参数及 1M 上下文窗口,专为长程智能体编码工作流设计,并原生支持多模态感知。通过 Tensor/Pipeline/Expert Parallelism 及 DSpark 投机解码技术,在 Nvidia、AMD 和 TPU 上实现了高效部署与加速。

vLLM 官方博客T1·开发与工程
68 分
vLLM 深度优化 Kimi K3:通过 KDA 检查点与 MXFP4 内核实现 2.8 倍吞吐提升

vLLM 团队针对 Kimi K3 模型完成了全栈性能优化,在 B300 节点上实现了最高 2.8 倍的吞吐量提升和 72%-85% 的首字延迟降低。核心突破包括自适应投机解码预算、内部 KDA 前缀检查点、零拷贝混合批次处理以及延迟 MXFP4 最终化技术。这些改进解决了 LatentMoE 架构下的调度瓶颈与小张量拷贝开销,显著提升了高并发场景下的推理效率。

vLLM 官方博客T1·算力与基建
48 分
AMD MI355X 优化 MiniMax M3:通过动态瓶颈追踪实现推理吞吐提升 3.14 倍

vLLM 团队在 AMD Instinct MI355X 上对 MiniMax M3 进行了深度性能调优,将并发度 32 下的输出吞吐量从 109.1 提升至 342.4 tokens/s/GPU(提升 3.14 倍),并显著降低了首字延迟。该案例的核心价值在于展示了一套“跟随瓶颈”的系统化优化方法论,即在模型初步运行后,如何根据不断移动的硬件与软件瓶颈动态决定下一步的优化重点,而非单纯追求静态指标。

vLLM 官方博客T1·开发与工程
78 分
vLLM-Omni 集成 FastH3:通过全栈优化与四步扩散实现 MiniMax H3 实时视频生成

vLLM-Omni 框架针对 MiniMax H3 模型实施了系统级全栈优化,涵盖注意力机制、通信及并行 VAE 解码等组件。在此基础上,引入 FastVideo 的 FastH3 技术将 DiT 前向传播次数从 49 次大幅压缩至 4 次。实测显示,在 8 张 B300 GPU 上,该方案能在约 8.7 秒内生成完整的 10.125 秒 MP4 视频,实现了生成速度快于播放速度的“实时”标准。

vLLM 官方博客T1·开发与工程
78 分
vLLM 引入解码上下文并行:突破 MLA/GQA 长文本推理显存瓶颈,支持百万级 Token 智能体负载

vLLM 推出解码上下文并行(DCP)技术,专门解决长上下文推理中 KV Cache 在张量并行下因 GQA/MLA 架构导致的显存复制与容量瓶颈。该方案通过优化解码阶段的上下文分布,显著提升了 NVIDIA B200 GPU 上 Kimi K2.6 等模型处理 64K 至 1M Token 智能体工作负载的并发能力与内存效率。