术语slug: multi-instance-gpu

多实例 GPU

Multi-Instance GPU

NVIDIA 提供的 GPU 硬件分区技术,将单块 GPU 切分为多个相互隔离的实例,各自拥有独立算力与显存。

收录情报动态

共 1 篇 · 第 1/1 页
AWS Machine Learning BlogT1·算力与基建
62 分
SageMaker 推理支持多实例 GPU 分区提升利用率

亚马逊 SageMaker 推理端点现已支持基于 NVIDIA MIG 的 GPU 分区,可将单块物理 GPU 切分为多个硬件隔离的独立分区,每个分区拥有固定的算力份额与专属显存。这打破了此前“最小申请单位为整卡”的限制,允许在同一实例上部署更多模型,或按需选择新代 GPU 的部分算力,减少资源浪费与过度采购。