AWS Machine Learning BlogT1·算力与基建
62 分
亚马逊 SageMaker 推理端点现已支持基于 NVIDIA MIG 的 GPU 分区,可将单块物理 GPU 切分为多个硬件隔离的独立分区,每个分区拥有固定的算力份额与专属显存。这打破了此前“最小申请单位为整卡”的限制,允许在同一实例上部署更多模型,或按需选择新代 GPU 的部分算力,减少资源浪费与过度采购。
GPU Partitioning
将物理加速卡按算力与显存切分为多个逻辑单元,供不同工作负载独立使用的资源调度方式。
亚马逊 SageMaker 推理端点现已支持基于 NVIDIA MIG 的 GPU 分区,可将单块物理 GPU 切分为多个硬件隔离的独立分区,每个分区拥有固定的算力份额与专属显存。这打破了此前“最小申请单位为整卡”的限制,允许在同一实例上部署更多模型,或按需选择新代 GPU 的部分算力,减少资源浪费与过度采购。