AWS Machine Learning BlogT1·算力与基建
62 分
亚马逊 SageMaker 推理端点现已支持基于 NVIDIA MIG 的 GPU 分区,可将单块物理 GPU 切分为多个硬件隔离的独立分区,每个分区拥有固定的算力份额与专属显存。这打破了此前“最小申请单位为整卡”的限制,允许在同一实例上部署更多模型,或按需选择新代 GPU 的部分算力,减少资源浪费与过度采购。
Multi-Instance GPU
NVIDIA 提供的 GPU 硬件分区技术,将单块 GPU 切分为多个相互隔离的实例,各自拥有独立算力与显存。
亚马逊 SageMaker 推理端点现已支持基于 NVIDIA MIG 的 GPU 分区,可将单块物理 GPU 切分为多个硬件隔离的独立分区,每个分区拥有固定的算力份额与专属显存。这打破了此前“最小申请单位为整卡”的限制,允许在同一实例上部署更多模型,或按需选择新代 GPU 的部分算力,减少资源浪费与过度采购。