AWS Machine Learning BlogT1·算力与基建
58 分
NVIDIA Run:ai 的 GPU Fractioning Operator 现已支持在 Amazon EKS 上运行,在 MPS 基础上叠加 Kubernetes 调度集成、按 Pod 的显存配额约束与监控指标,让多个团队共享同一块 GPU。相比默认设备插件将整卡作为单一资源暴露、两个 Pod 无法并发的基线,该方案可显著提升小规模推理与 Notebook 场景的利用率。
面向 Kubernetes 的 AI 工作负载编排平台,提供 GPU 调度与分片能力,已被 NVIDIA 收购
NVIDIA Run:ai 的 GPU Fractioning Operator 现已支持在 Amazon EKS 上运行,在 MPS 基础上叠加 Kubernetes 调度集成、按 Pod 的显存配额约束与监控指标,让多个团队共享同一块 GPU。相比默认设备插件将整卡作为单一资源暴露、两个 Pod 无法并发的基线,该方案可显著提升小规模推理与 Notebook 场景的利用率。