术语slug: mps

多进程服务

MPS

NVIDIA 多进程服务,允许多个进程共享同一 GPU 计算资源

收录情报动态

共 1 篇 · 第 1/1 页
AWS Machine Learning BlogT1·算力与基建
58 分
Run: ai GPU 分片登陆 Amazon EKS

NVIDIA Run:ai 的 GPU Fractioning Operator 现已支持在 Amazon EKS 上运行,在 MPS 基础上叠加 Kubernetes 调度集成、按 Pod 的显存配额约束与监控指标,让多个团队共享同一块 GPU。相比默认设备插件将整卡作为单一资源暴露、两个 Pod 无法并发的基线,该方案可显著提升小规模推理与 Notebook 场景的利用率。