IT之家 · 智能时代T2·算力与基建
78 分
Anthropic IPO 路演材料披露,Claude Mythos Preview 仅用约 3 天就让另一模型在 AMD MI355X 上跑通推理,而传统跨平台适配通常需 6 至 12 个月。这意味着 GPU 正被当作可互换的通用算力,英伟达 CUDA 生态的迁移壁垒首次出现实质性松动,但开发者生态与 NCCL、NVLink 等软硬协同仍是其真正护城河。
NCCL
英伟达多 GPU 通信库,与 NVLink、InfiniBand 深度结合以提升协同计算效率
Anthropic IPO 路演材料披露,Claude Mythos Preview 仅用约 3 天就让另一模型在 AMD MI355X 上跑通推理,而传统跨平台适配通常需 6 至 12 个月。这意味着 GPU 正被当作可互换的通用算力,英伟达 CUDA 生态的迁移壁垒首次出现实质性松动,但开发者生态与 NCCL、NVLink 等软硬协同仍是其真正护城河。
AWS 推出预构建的 Ray Train Deep Learning Container (DLC),旨在解决 PyTorch 在 Kubernetes 集群中扩展时面临的复杂依赖管理问题。该容器镜像集成了 CUDA、NCCL、EFA 及 AWS OFI 插件等关键组件,并通过 Amazon ECR Public 提供维护,显著降低了基础设施搭建门槛。
Hugging Face 在 TRL v1.14 中推出 `AsyncGRPOTrainer`,支持通过存储桶而非 NCCL 同步 LoRA 适配器至 vLLM。该方案利用小体积 Rank-1 适配器实现训练与推理节点的解耦部署,并通过代理层优化 KV 缓存路由。实测显示,此架构将特定任务训练时间从 3 小时 27 分大幅缩短至 53 分钟。