术语slug: gpu-partitioning

GPU 分区

GPU Partitioning

将物理加速卡按算力与显存切分为多个逻辑单元,供不同工作负载独立使用的资源调度方式。

收录情报动态

共 1 篇 · 第 1/1 页
AWS Machine Learning BlogT1·算力与基建
62 分
SageMaker 推理支持多实例 GPU 分区提升利用率

亚马逊 SageMaker 推理端点现已支持基于 NVIDIA MIG 的 GPU 分区,可将单块物理 GPU 切分为多个硬件隔离的独立分区,每个分区拥有固定的算力份额与专属显存。这打破了此前“最小申请单位为整卡”的限制,允许在同一实例上部署更多模型,或按需选择新代 GPU 的部分算力,减少资源浪费与过度采购。