SageMaker 推理支持多实例 GPU 分区提升利用率
亚马逊 SageMaker 推理端点现已支持基于 NVIDIA MIG 的 GPU 分区,可将单块物理 GPU 切分为多个硬件隔离的独立分区,每个分区拥有固定的算力份额与专属显存。这打破了此前“最小申请单位为整卡”的限制,允许在同一实例上部署更多模型,或按需选择新代 GPU 的部分算力,减少资源浪费与过度采购。
报道正文
本文目录11 个章节
当你将模型部署到 GPU 端点时,你能请求的最小 GPU 单元是一整块加速器。
这一限制会让你付出双重代价。首先,一个实例上能承载的模型数量不能超过其加速器数量。一个 ml.p4d.24xlarge 拥有八块 A100,因此最多承载八个模型,无论每个模型需要 40 GB 还是 14 GB。其次,这一点不那么明显:它使得每次部署都归结为选择部署到哪一整块 GPU 上。随着并发量和提示长度的增长,旧实例上的一整块 GPU 不再够用,而新实例上的一整块 GPU 又超出了模型所能利用的范围。最终你要么服务不足,要么为永远用不上的能力付费。
如今,Amazon SageMaker Inference 支持 GPU 分区,它利用 NVIDIA Multi-Instance GPU(MIG)将一块物理 GPU 划分为多个独立分区。每个分区获得 GPU 计算单元的固定份额和一块专用内存,隔离由硬件强制执行。这改变了上述两项限制:你可以在每个分区中放置不同的模型,也可以选择使用新一代加速器的一部分,而不是任一世代的一整块。
本文涵盖这两方面。第一部分是直接收益:部署的模型数量超过 GPU 数量,且模型之间相互隔离。第二部分是客户在谈到成本时最关心的问题:分区的细粒度如何帮助你选择合适规模的单元,以及我们在实测中得到了什么结果。
在继续阅读之前,有一点需要了解:GPU 分区适用于使用推理组件的端点,该构造用于将多个模型部署到一个端点,并设定每个模型获得的计算资源。分区直接构建在其之上。分区是组件请求的一种资源,请求位置与它请求 CPU 和内存的位置相同。如果你尚未使用过推理组件,这篇文章对其做了介绍。单模型端点、无服务器端点和异构实例池无法进行分区。
客户目前的做法,以及每种方案为何不够理想
如果你的模型数量多于加速器数量,你此前有三种选择。
运行更少、更大的端点并加大批处理 – 这能提高利用率,但前提是模型可以互换。而一组微调变体或按租户划分的模型则不具备这种可互换性。
使用多模型端点 – 这类端点按需从共享 GPU 上加载和卸载模型,适合稀疏、突发性的流量。但模型在共享设备上并无隔离,因此针对某个模型的重负载请求会影响其他模型。未加载的模型在首次使用时还要承担加载惩罚。
迁移到自管理的 Kubernetes – 需要真正 GPU 分区的客户已经转向这一方案。MIG 在那里可以工作,但你需要自行承担驱动版本管理、分区配置、设备插件、调度,以及在整支机群中保持这一切一致性的工作。为了一个你的实例本就具备的硬件能力,这工作量可不小。
为什么选择 MIG
NVIDIA 多实例 GPU(MIG)可将一块 GPU 拆分为最多七个实例(具体数量取决于 GPU)。每个实例拥有自己的计算、缓存、内存和内存带宽。由于这种拆分是在硬件层面而非软件层面完成的,你能获得其他共享方式无法提供的保障:
- 可预测的延迟 – 每个分区拥有专用内存带宽,因此某个模型的流量高峰不会出现在另一个模型的 p99 中。
- 故障隔离 – 崩溃或内存错误会被限制在其分区内,而不会导致 GPU 上的所有模型一起宕机。
- 容量恰到好处 – 中小型模型获得适合自身的切片,而不是整块 GPU。你可以在同一设备上混合使用不同大小的切片。
- 无冷启动 – 每个模型保留自己的分区并保持加载状态,没有加载惩罚,也没有驱逐。
- 租户隔离 – 分区之间的内存保护由硬件强制执行,这使安全与合规审查更加简单。
- 可靠的规划与计费分摊 – 分区的性能不受相邻分区影响,因此负载测试能够预测生产表现。GPU 成本也能清晰地映射到某个模型、团队或租户。
分区有一些边界值得提前了解。最大分区数取决于加速器,且从不超过七个。MIG 本身只允许在分区空闲时更改布局,而在 SageMaker AI 上,这意味着在创建端点时就要选择布局。需要多块 GPU 的模型仍然需要整块设备。在这些边界之内,你可以获得独立 GPU 般的隔离性,而无需为每个模型专门分配一块 GPU。
无需承担平台工作的分区
到目前为止,要获得 MIG 需要自行运行 Kubernetes 栈。Amazon SageMaker AI 上的 GPU 分区消除了这一步骤:你只需为模型选择一个分区配置文件,SageMaker AI 便会处理 GPU 配置、放置和扩缩。你可以在托管端点上获得硬件隔离的 GPU 共享,而无需运行其底层平台。
Salesforce 从一开始就参与了这项工作,帮助定义需求并验证初始实现。
“NVIDIA MIG 将单个 GPU 划分为多个隔离实例,每个实例都拥有专用的计算和内存资源。Salesforce 认为这是一项重要能力,因为许多推理工作负载并不需要整块 GPU。MIG 将使我们能够安全地整合工作负载,显著提高 GPU 利用率,降低推理成本,并保持可预测的性能和强大的隔离性。 这项能力将帮助我们在不同用例中更高效地扩展 AI 推理。Salesforce 帮助定义了需求,验证了初始解决方案。我们现在正准备用具有代表性的生产工作负载验证该解决方案,并向 AWS 展示强劲的客户需求。我们相信,MIG 支持将为企业客户带来有意义的技术和商业价值。” — Richard Chang,Salesforce 软件工程架构师
工作原理
GPU 分区为你已经发起的 API 调用增加了两个可选字段。没有新的 API 操作,没有新的资源类型,也没有新的 AWS Identity and Access Management (IAM) 操作,而省略这两个字段的端点行为与今天完全一致。
AcceleratorPartitionLayouts 放在 CreateEndpointConfig 中的生产变体上,声明每个加速器如何划分:
{
"EndpointConfigName": "multi-model-partitioned",
"ExecutionRoleArn": "<execution-role-arn>",
"ProductionVariants": [
{
"VariantName": "AllTraffic",
"InstanceType": "ml.p4d.24xlarge",
"InitialInstanceCount": 1,
"AcceleratorPartitionLayouts": [
{ "AcceleratorPartitionTypes": ["mig-4g.20gb", "mig-2g.10gb", "mig-1g.5gb"] }
]
}
]
}一块 A100 有七个计算切片可供划分。上述布局用满了全部七个,因此 p4d 实例上的八块 A100 每块都承载三个分区,端点共提供 24 个分区,每种类型各八个。
这种切分是统一应用的。一个布局条目描述一个加速器如何被划分,而该变体中每个实例上的每个加速器都按相同方式划分。该列表不是按位置对应的,因此一个条目并不映射到某个特定的 GPU。
AcceleratorPartitionType 设置在推理组件上,用于选择模型运行在哪个分区上:
{
"InferenceComponentName": "summarizer",
"EndpointName": "multi-model-partitioned",
"VariantName": "AllTraffic",
"Specification": {
"ModelName": "summarizer-model",
"ComputeResourceRequirements": {
"AcceleratorPartitionType": "mig-4g.20gb",
"NumberOfAcceleratorDevicesRequired": 1,
"NumberOfCpuCoresRequired": 1,
"MinMemoryRequiredInMb": 2048
}
},
"RuntimeConfig": { "CopyCount": 1 }
}每个组件副本占用所请求类型的一个分区。由于实例上每种类型各有八个分区,提高 CopyCount 会将额外的副本放置到空闲分区上。这对于服务高并发的小模型很有用,因为单个进程会让 GPU 处于等待请求的状态。
这里的 NumberOfAcceleratorDevicesRequired 始终为 1。设置了分区类型后,它表示一个分区,而不是一个加速器。NumberOfCpuCoresRequired 和 MinMemoryRequiredInMb 仍然描述主机 CPU 和主机内存,因为 GPU 内存来自分区类型。
调用方式不变。InvokeEndpoint 通过推理组件名称来寻址模型,而它所占用的分区永远不会出现在请求中。
分区在端点预置期间进行。当端点达到 InService 状态时,每个加速器都已完成切分,且分区为空,这是一个有效状态,因为组件随后会落到这些分区上。在我们的测试中,切分加速器使预置时间增加了大约 17 秒。其余时间则是通常的实例启动和容器拉取。
按 GPU 划分的分区配置文件
你可用的配置文件是 GPU 的属性,因此首先要查明你的实例类型搭载的是哪款 GPU,然后在 NVIDIA 支持的 MIG 配置文件中查找它,该文档是完整配置文件集合以及单设备上有效组合的权威来源。
| 实例系列 | 加速器 | GPU 显存 | 粒度(计算 / 显存) | 可用的分区配置 | 每 GPU 最大分区数 |
|---|---|---|---|---|---|
| P4d | NVIDIA A100 | 40 GB | 7 / 8 | mig-1g.5gb、mig-1g.10gb (见驱动说明)、mig-2g.10gb、mig-3g.20gb、mig-4g.20gb、mig-7g.40gb | 7 |
| P5 | NVIDIA H100 | 80 GB | 7 / 8 | mig-1g.10gb、mig-1g.20gb、mig-2g.20gb、mig-3g.40gb、mig-4g.40gb、mig-7g.80gb | 7 |
| G7 | NVIDIA RTX PRO 4500 Blackwell | 32 GB | 2 / 2 | mig-1g.16gb、mig-2g.32gb | 2 |
| G7e | NVIDIA RTX PRO 6000 Blackwell Server Edition | 96 GB | 4 / 4 | mig-1g.24gb、mig-2g.48gb、mig-4g.96gb | 4 |
将配置文件名称理解为计算单元数后接 GPU 内存:mig-3g.40gb 占用三个计算单元和 40 GB。粒度列才是限制布局的因素。A100 和 H100 在计算上划分为七份、在内存上划分为八份,而 G7 划分为两半、G7e 划分为四份。即使切片数量相同,不同 GPU 之间的配置文件名称也不同,因此不要未经对照此表就将布局从一个实例系列套用到另一个实例系列。
在这些限制之内,你拥有真正的选择空间。在 P4d 或 P5 上,你可以划分出七个最小配置文件,或两个 3g 分区,或前面示例中使用的 4g 加 2g 加 1g 布局,或将整个设备作为一个整体。在 G7e 上,你可以取四个最小配置文件,或两个 1g 加一个 2g,或两个 2g,或一个完整设备。在 G7 上,要么两个分区,要么一个。
3g 配置文件是必须了解的一个,因为它的两个维度并不匹配:它占用七个计算单元中的三个,但占用八个内存单元中的四个。两个 3g 配置文件就能填满 GPU,旁边再也放不下其他任何东西。
高层规则: 你布局中的每个配置文件都必须是你的 GPU 所提供的,并且你的配置文件所累加的计算单元和内存单元不得超过单个设备所能提供的量。这两项都会在你创建端点配置时进行检查,任何一项不通过都会被拒绝,而不是回退到整个加速器。
P4d 的驱动注意事项: mig-1g.10gb 需要 R525 或更新的 NVIDIA 驱动,而默认 P4d 镜像搭载的是 470.256.02。在默认镜像上请求它,划分会失败,且不会报出指明该配置文件的错误。在生产变体上将 InferenceAmiVersion 设置为 al2023-ami-sagemaker-inference-gpu-4-1,以获得基于 580 驱动系列的镜像,该镜像提供此配置文件。
为你的工作负载选择布局
选择得好与选择一个仅仅被接受的布局是两回事。分区以固定比例为你分配计算和内存,而这两者在推理过程中承担不同的职责。
计算单元是 prefill 所需要的。 Prefill 读取提示并构建其表示。这是计算密集的阶段,它随你的分区所拥有的流式多处理器数量(也就是 TFLOPs)而扩展。你的输入越长、同时到达的提示越多,它就越决定你返回首个 token 的速度。
解码和容量都需要的是内存单元。 生成 token 时,每一步都会重新读取模型权重,因此解码受限于内存带宽而非计算能力;同时,内存也决定了你能容纳多少 KV cache。而这个上限又进一步决定了你能服务的上下文长度以及可并发服务的序列数量。
几乎没有哪个真实工作负载只用到其中一项,所以目标不是挑选某一个维度,而是选择一种能支撑你用例的组合。 选择一个配比能覆盖你最重负载阶段、同时让另一侧也得到充分满足的方案。在计算侧,关键在于你的提示词有多长、同时到达多少。在内存侧,则是你的输出长度、上下文窗口和并发数。
内存是两者中更容易被低估的一项,因为一个分区必须容纳三样东西,而不仅仅是模型:权重——对于 FP16 的 8B 模型约为 16 GB;KV cache——按你打算允许的上下文长度和并发序列数来定尺寸,这一项正是人们常忽略的,也是随流量增长的那一项;以及 1–2 GB 的运行时开销,用于 CUDA 上下文和服务进程。在选择方案之前先把这些加起来,因为仅按权重定尺寸的分区会加载模型,然后在负载下失败,或者悄悄提供远短于你所配置的上下文。一个具体的参考点:同一个 FP16 的 8B 模型在 40 GB 分区上可以轻松服务 8,000 token 的上下文。
MIG 价值最大的场景
中小模型组合—— 最直接的情况。微调变体、嵌入模型、重排器和分类器,每一个都只用到加速器的一小部分,现在可以共享一个。
多租户模型服务—— 当你为每个客户托管一个模型时,MIG 在它们之间提供了硬件边界:一个分区中的进程无法读取另一个分区的内存,也无法抢占其吞吐量。不过要准确界定这一说法。同一实例上的模型仍然共享主机 CPU、系统内存、存储、网络和端点路由,因此分区是 GPU 的隔离机制,而不是完整的租户边界。
单实例上的多阶段流水线—— 一个转录模型、一个说话人分离模型和一个语言模型,或者一个嵌入器、一个重排器和一个生成器。每个阶段都是各自分区上可单独寻址的组件,阶段之间的网络跳转消失了。
请求路径中的小模型—— 一个必须对每个请求运行、但又不足以证明值得使用加速器的安全分类器或护栏模型,其延迟可预测,因为它不会与主模型争抢时间片。
挑战者模型与金丝雀模型—— 在生产流量所服务的模型旁边的小分区上运行候选模型,而不是另外搭建第二个端点。
性能:较新 GPU 的一个切片对比一整块较旧的 GPU
除了装箱(bin-packing)之外,你获得的另一个好处是高端 GPU 上的粒度:可部署模型的 GPU 选项更多,并且可以选择哪一个归你使用。每个受支持的加速器都会变成多种规格,而不是只有一种,因此实际的思考方式是:每个配置本身就是一种 GPU 选项,与你已经在其中做选择的整块加速器并列存在。当你考虑更大或更新的实例类型时,这一点最为重要,因为向上扩展不再是全有或全无:你可以按工作负载的需要,以它发布的任意规格,取用那块更大 GPU 的多或少一部分,而不必为整块加速器付费。
为了验证这是否划算,我们将 H100 的一个 mig-3g.40gb 分区与一整块未切分的 A100-40GB 进行了对比。两者的 GPU 显存相当,因此可以清晰地看出更先进实例的一个切片能有多强大。
我们使用 genai-bench 生成负载,由同一个客户端驱动两个端点,因此 GPU 是唯一的变量。双方都在生产环境的 SageMaker 实时端点上运行 Llama-3.1-8B-Instruct,各有一个模型副本,容器镜像、分词器和客户端配置完全相同。两者都通过 SageMaker AI 原生 OpenAI 兼容路由进行调用。我们扫描了五种流量形态,记作 D(输入 token 数, 输出 token 数),范围从短提示到长上下文摘要,每种形态都在从 2 到 512 的并发阶梯上进行测试。
图 1:H100 的一个 mig-3g.40gb 分区与一整块 A100-40GB 在五种流量形态、并发阶梯从 2 到 512 下的聚合每秒输出 token 数
图 2:同样五种流量形态下,分区每百万输出 token 的成本收益与并发数的关系
有四点值得注意。
- 分区在所有场景下都更快——在每种场景、每个并发水平下,它每秒输出的 token 都更多,在各场景成本收益最大的负载下高出 53% 到 89%;每个场景的 token 间延迟也都更低,降低了 8.9% 到 42.1%。负载越高,差距越大。
- 每种情况下首 token 时间都更低,降低了 5.6% 到 47.5%。
- 在成本上,每百万输出 token 便宜 18%–34%,且这一优势存在一个交叉点,提示越长交叉点越早出现。 100 token 提示的交叉点是并发 64,8,000 token 提示则是并发 4。低于交叉点时,整块 A100 是更便宜的单位。这些价格均为按需价格,分析时测得美国西部(俄勒冈)AWS 区域
ml.p4d.24xlarge为每小时 $25.251286,ml.p5.48xlarge为每小时 $63.296000。仅出于我们自身的分析目的,我们用整实例成本除以实例上的单位数来推算单位成本:p4d 上为 8 个,p5 上为 16 个,其中我们的分区相当于半块 GPU。 - 在长上下文流量的阶梯顶端,A100 停止服务了。 在 6,000 和 8,000 token 两种工作负载上,它分别有三分之一到一半的请求未能满足服务路径的截止时间,而分区则一个都没有失败。这就是那两个面板比其他面板更早结束的原因。
请将其视为逐案比较,而非定论。 有用的心智模型是把可用的 GPU 分数当作独立的 GPU 类型来看待。把它们与整块加速器并列,弄清你的流量对计算和内存的实际需求,然后在你自己的工作负载上进行比较。对于高并发、长输入的流量,分区在这里在性能和成本上都胜出。对于短输入或低并发的负载,整块 A100 仍然更便宜。分区并非放之四海而皆准的答案。它给了你更多可选规格,让你能挑出最适合自己工作负载的那一个。
在确定布局之前需要了解的事项
分区会改变端点的形态,在设计端点之前,有几个特性值得先了解清楚。
组件的分区类型在该组件的整个生命周期内固定不变。要把模型迁移到不同的配置文件,就意味着创建一个新组件。更改端点的划分方式意味着要新建端点并进行流量迁移,因为更新端点配置并不会重新划分已在运行的主机。因此,分区适合稳定的组合,而不适合每天都会重新调整的混合部署。
请求的配置文件必须存在于端点的布局中。系统不会回退到使用整个加速器,因此,如果组件请求的配置文件未在该变体中声明,就会被拒绝。
分区适用于推理组件端点上的实时推理。不支持无服务器端点和异构实例池,并且异步调用无法寻址推理组件,因此异步工作负载不在支持范围内。
计费仍按整个 GPU 实例收取,与目前的做法一致。分区提高的是你能使用该实例的比例,并不会改变其每小时价格。
最后,如果某个模型确实需要一整个加速器,或者需要多个加速器,就应当继续为它分配相应资源。任何分区都不会跨加速器。
支持的实例和区域
GPU 分区在 P4d、P5、G7 和 G7e 实例系列上可用。支持范围以系列为单位,因此系列内较小的规格也涵盖在内。
该功能在以下 AWS 区域可用:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、亚太地区(新加坡)、亚太地区(东京)、欧洲(法兰克福)和欧洲(爱尔兰)。
实例可用性因区域而异,因此请确认你选择的实例类型在所在区域有提供,并且你拥有该实例的端点使用配额。
入门
要对 GPU 端点进行分区,请先确定模型所需的内存和计算资源,选择合适的配置文件,在端点配置上声明布局,然后将每个模型部署为推理组件,并请求该布局中的某个配置文件。调用模型的方式不会有任何变化。
有关 API 参考、各实例系列的完整配置文件表以及分步操作指南,请参阅 Amazon SageMaker AI 开发者指南中的 GPU partitioning。
想亲自尝试的话,可以运行 GPU 分区示例 notebook,它会把多个模型部署到单个 GPU 端点的各个分区上。
在规划容量时,值得把这一更广泛的变化放在心上。现在每一种受支持的加速器都不再只有一种规格,而是有多种规格。对于给定模型而言,究竟该选用较新 GPU 的一个分区,还是较旧加速器的整块,已经不再是一个只能靠向上取整来回答的问题。这是一个可以通过实测来回答的问题。

