InfoQ 中文T2·78 分
亚马逊云科技推出 TorchNeuron 原生后端,PyTorch 模型零改动跑上 Trainium
原标题:亚马逊云科技推出 TorchNeuron,可以直接在 AWS Trainium 上运行 PyTorch 模型,无需任何修改
- 迁移成本极低:仅需将 .to('cuda') 替换为 .to('neuron'),无需重写和重新验证模型
- 原生支持 DDP、FSDP2、DTensor 等分布式训练与并行 API,并已对 10 万个模型和 800 多种架构完成验证
- 支持训练与推理共享硬件容量,非高峰时段可将资源从推理重新分配到训练