Today for AI
返回热点榜
compute热度 16.1°

AI 聚合热点事件 · 2026/11/14

双 DGX Station 本地部署 GLM-5.3 达 607.8 tok/s

1 篇收录报道1 家独立信源交叉印证持续跟踪至 2026/11/14 22:09:25
全景综述与最新动态
1 家信源交叉印证

NVIDIA 发布技术教程，展示如何用两台 DGX Station 通过 ConnectX-8 RDMA 互联，以 vLLM 张量并行（TP=2）方式本地部署 7530 亿参数的 GLM-5.3 NVFP4 量化模型，实现单端点 607.8 tok/s 的推理吞吐。核心难点在于 464 GB 权重超出单卡 252 GB HBM3e 容量，方案通过跨机张量并行将权重与计算分摊到两块 GB300 GPU，并禁用 CPU 权重卸载以保持全 GPU 驻留。该实践为前沿规模 MoE 模型的桌面级本地部署提供了可复现的工程路径与并发压测方法。

最新动向/NVIDIA 发布技术教程，展示如何用两台 DGX Station 通过 ConnectX-8 RDMA 互联，以 vLLM 张量并行（TP=2）方式本地部署 7530 亿参数的 GLM-5.3 NVFP4 量化模型，实现单端点 607.8 tok/s 的推理吞吐。核心难点在于 464 GB 权重超出单卡 252 GB HBM3e 容量，方案通过跨机张量并行将权重与计算分摊到两块 GB300 GPU，并禁用 CPU 权重卸载以保持全 GPU 驻留。该实践为前沿规模 MoE 模型的桌面级本地部署提供了可复现的工程路径与并发压测方法。

报道时间线

共 1 篇 · 最新优先
  1. Hacker News AIT2·72 分

    双 DGX Station 本地部署 GLM-5.3 达 607.8 tok/s

    原标题：Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

    • GLM-5.3 NVFP4 为 753B 参数 MoE 模型，每 token 激活 40B，检查点约 464 GB，超出单块 GB300 的 252 GB HBM3e
    • 方案采用两台 DGX Station 经 ConnectX-8 RDMA 互联，vLLM TP=2 跨机切分权重与计算，禁用 CPU 卸载
    • 单端点实测吞吐 607.8 tok/s，并给出并发压测与调优方法