Lambda 部署英伟达 CPO 交换机 连接万卡 AI 集群
Lambda 采用英伟达 Photonics 共封装光学(CPO)交换机,将超过 1 万块 GPU 的 GB300 NVL72 机架互联,构建大规模 AI 工厂网络。测试显示机架级网络延迟下降约 4%,Pod 级最高下降约 10%,吞吐与传统可插拔光模块持平,同时功耗更低、中断间隔更长。这是 CPO 技术首次在万卡级生产集群中落地,为下一代超大规模 AI 集群互联提供了可复用的工程范式。
报道正文
本文目录2 个章节
要训练一个 AI 模型,数千块 GPU 必须协同工作,这要求网络既快速、高效又具备韧性。
Lambda 正通过 NVIDIA Photonics 共封装光学(CPO)交换机来解决网络这一环节的难题。这家云服务提供商正使用这些交换机,将超过 10,000 块 GPU 的 NVIDIA GB300 NVL72 机架连接起来,为大规模 AI 工厂带来更低的功耗、更高的韧性和更长的平均无中断时间(MTBI)。
“网络必须跟上日益庞大的 AI 集群的需求,”Lambda 云服务总裁 Dave Ward 表示。“将共封装光学引入如此规模的部署,是构建支撑下一代 AI 所需基础设施的重要一步。”
在该公司使用这些交换机进行的测试中,网络延迟——即数据传输所需的时间——在机架规模下降低了约 4%,在 pod 规模下降低了最高约 10%。在机架、可扩展单元和 pod 等各种配置下,网络均保持与传统可插拔光学器件相同的吞吐量。
大规模交付能效与韧性
提升能效和韧性之所以重要,是因为网络处于 AI 工厂生产力的核心位置。
在大型训练任务中,一条链路中断就可能让数千块 GPU 停滞。在智能体推理中,一次网络中断就可能对众多智能体产生级联的延迟影响。每一次中断都意味着时间损失,而花在网络上的每一瓦功耗,都是无法用于计算的功耗。
NVIDIA Photonics 同时解决了能效和韧性两方面的问题。通过在交换机封装上以共封装光学引擎取代可插拔收发器,它实现了比传统可插拔光学器件最高 5 倍的能效和最高 15 倍的可靠性。它还使用了少 4 倍的激光器,这意味着可能发生故障的组件更少。
更凉爽的光学器件与可更换光源提升韧性
Lambda 的部署采用了 NVIDIA Photonics 交换机,每台拥有 144 个以 800Gb/s 运行的端口。液冷将热量从交换机芯片和光学引擎带走。
该公司报告的光学器件温度中位数为 36°C,而传统可插拔光学器件为 51°C,其测试还发现信号完整性更为稳定。
NVIDIA Photonics 还将电光转换进一步靠近交换芯片。每台交换机配备 18 个可拆卸的外部光源,为光引擎提供光信号。光引擎与芯片位于同一封装上,将电信号转换为光信号,通过光纤在集群各部分之间传输数据。
技术人员可以在现场更换光源模块,而传统的可插拔光模块在激光器故障时需要更换整个模块。
共封装将电气路径从英寸级缩短至毫米级,从而减少信号损耗。它还省去了对 retimer 芯片的需求,既降低了功耗,也减少了信号路径中的元件数量。
探索NVIDIA Photonics并阅读 Lambda 的部署公告。