工具slug: gpu-fractioning-operator

GPU Fractioning Operator

在 Kubernetes 上实现 GPU 显存分片共享的算子,提供调度集成、配额约束与指标

收录情报动态

共 1 篇 · 第 1/1 页
AWS Machine Learning BlogT1·算力与基建
58 分
Run: ai GPU 分片登陆 Amazon EKS

NVIDIA Run:ai 的 GPU Fractioning Operator 现已支持在 Amazon EKS 上运行,在 MPS 基础上叠加 Kubernetes 调度集成、按 Pod 的显存配额约束与监控指标,让多个团队共享同一块 GPU。相比默认设备插件将整卡作为单一资源暴露、两个 Pod 无法并发的基线,该方案可显著提升小规模推理与 Notebook 场景的利用率。