工具slug: torchneuron

TorchNeuron

AWS 推出的原生 PyTorch 后端,使现有 PyTorch 代码几乎无需修改即可运行在 Trainium 芯片上

收录情报动态

共 1 篇 · 第 1/1 页
InfoQ 中文T2·算力与基建
78 分
亚马逊云科技推出 TorchNeuron 原生后端,PyTorch 模型零改动跑上 Trainium

亚马逊云科技在 PyTorch 北美大会上发布 TorchNeuron,这是一个原生 PyTorch 后端,开发者只需将 .to('cuda') 改为 .to('neuron') 即可在 AWS Trainium 芯片上运行现有模型,无需重写或重新验证。该后端原生支持 DDP、FSDP2、DTensor 等分布式训练与并行 API,团队已对 10 万个热门模型和 800 多种架构完成验证,并允许训练与推理共享硬件容量。此举紧随谷歌 TorchTPU 之后,标志主流云厂商围绕 PyTorch 生态展开加速器后端之争。