Salesforce 用 SageMaker 跨区推理路由支撑 30 个区域模型服务

作者:Apoorva Chandra原标题:How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI
62AI 研判分

Salesforce 的 Agentforce Foundation 团队在 30 多个全球区域部署自研与开源模型,此前各区域独立托管导致容量割裂、流量高峰易演变为可用性问题。借助 Amazon SageMaker AI 的跨区域推理路由,Salesforce 以单一调用路径将请求分发至多区域、多账号下可服务的自有端点,在满足数据驻留承诺的同时弹性扩容,并可追踪每个请求的落地区域与原因。

报道正文

本文目录12 个章节

感谢 Salesforce 的 AI/ML 高级总监 Amit Gupta 和软件工程 PMTS Mark Wang,感谢你们在 SageMaker AI 上跨区域推理路由的愿景与合作中所做出的贡献。

Salesforce 的 Agentforce Foundation 团队为 Salesforce 旗下各类产品(包括 Agentforce 和 Salesforce Trust Layer)在 30 多个全球区域提供多种模型服务。这些模型既包括内部训练的模型,也包括开源模型。在每个区域分别托管模型会割裂容量,使流量高峰更难被吸收,从而将容量短缺转变为可用性问题。

本文介绍 Salesforce 如何在 SageMaker AI 中设置跨区域推理路由,以及该方案如何让团队在遵守数据驻留承诺的同时安全地增加容量。文章还详细说明了 Salesforce 如何查看每个请求的 serving 位置及其原因。跨区域推理路由为应用程序提供了一条统一的调用路径,跨越多个区域和账户中的 SageMaker AI 端点,并将每个请求发送到能够处理它的端点。这些端点均为 Salesforce 自有且已部署的端点。本文首先介绍 Salesforce 面临的容量问题,解释路由器的工作原理以及 Salesforce 如何将其集成到内部网关中,然后通过一个示例设置进行演示,最后描述团队的观察结果。

为什么 serving 这些模型使容量成为可靠性问题

Salesforce 的 Agentforce Foundation 团队从客户请求来源的区域为其提供服务,覆盖 30 多个全球区域和数百个 AWS 账户,并根据每个客户的流量来配置容量。每个客户都有自己的高峰时段,而这些时段经常重叠。为重叠的高峰配置容量是安全的选择,但成本过高。客户还会在短时间内引入新的业务部门,因此团队必须快速扩展资源池。逐区域快速增加容量会导致 Salesforce 面临容量碎片化:一些区域有空闲实例,而另一些区域则容量耗尽。

在 SageMaker AI 推出跨区域推理路由之前,Salesforce 使用其内部网关将本地端点无法处理的流量发送到其他区域。该团队构建并运营了这条路径,并辅以基本的健康检查、重试和区域切换逻辑。这种方法存在两个不足。首先,网关没有来自本地或远程端点的容量信号,因此无法判断何时应转移流量,也无法判断目标区域是否有余量。其次,跨区域流量必须通过 NAT 网关和互联网网关离开虚拟私有云(VPC),并经由公共 AWS 网络传输。在设计评审中,团队还提出了级联故障的风险:在故障期间转移流量可能会使下一个区域过载,因此 Salesforce 需要对跨区域流量设置上限。

在每个应用中单独构建这套逻辑无法在 Salesforce 范围内扩展。团队需要一条托管的、具备容量感知能力的路由路径。

推理路由器的作用

推理路由器是您账户中的一项区域级 SageMaker AI 资源。您的应用调用该路由器而不是端点,并传入一个路由目标名称,同时使用与当前发送给 InvokeEndpoint 相同的请求体和内容类型。路由目标是您为一个逻辑模型(例如毒性分类器)选择的名称,它按完整的 Amazon Resource Name(ARN)列出可能为该模型提供服务的端点和推理组件。一个路由器为每个模型持有一个路由目标,某个模型的端点出现问题不会转移其他模型的流量。一个路由目标可以混合使用单模型端点和推理组件。

由于每个目标都通过其 ARN 指定,因此它可以位于另一个区域或另一个 AWS 账户中。拥有端点的账户通过基于资源的端点策略授予访问权限,该策略允许一个指定名称的路由器调用它,Salesforce 正是以这种方式运行它的。

路由器优先选择其所在区域(Region),当本地目标成功提供服务时,请求会留在本地。路由器根据近期请求的结果来评判每个目标。平台故障、模型容器返回的 5xx 错误、限流和超时都会降低目标的健康度。随着这些问题持续存在,路由器会将越来越多的新请求转移到健康的目标,通常在大约一分钟内开始。对于流量较少的目标,可能需要几分钟。扩缩容进度和实例启动失败等信号会影响路由器在错误出现后的响应速度,但这些信号本身不会转移流量。恢复后,流量会在几分钟内回流,回流速度比离开时更慢,因此不会来回摆动。当某个目标未运行模型就使请求失败时(例如对其进行限流),路由器会在另一个目标上重试该请求一次。

客户端错误(例如无效输入)不会转移流量,因为它们在任何一个区域都会以同样的方式失败。模型延迟也不会转移流量,因为响应缓慢往往反映的是提示词或输出较长,本身并不意味着端点不健康。路由器也不负责部署模型、复制产物或添加实例。它使用你已部署的容量,而每个端点自身的自动扩缩容会随着其流量增长持续添加实例。

Salesforce 如何将路由器集成到其内部网关

在 Salesforce 的内部网关中,路由器调用正好位于过去直接调用 InvokeEndpoint 的位置:在每请求的出站路径中,位于数据驻留检查之后、响应处理之前。该检查是网关保留的唯一路由决策。带有驻留要求的请求会被固定到其区域内的路由目标,该目标唯一的目的地就是本地端点,因此它永远不会跨边界故障转移。其他所有请求都会以网关原本发送的相同请求体、内容类型和接受类型发送给路由器。容量感知、健康评估和故障转移现在位于路由层,而不是 Salesforce 的代码中。

Salesforce 的跨区域推理路由架构,每个区域的内部网关将请求路由到本地或远程的 SageMaker AI 端点

图 1:Salesforce 跨区域推理路由的端到端架构。在每个区域中,内部网关通过 VPC 端点(AWS PrivateLink)发送客户端请求。数据驻留标志设置为 true 的请求会直接发往区域内的端点 A,绝不会离开其所在区域。所有其他请求都会发往本地推理路由器,该路由器默认将流量发送到本地的端点 A,并在本地端点出现容量受限迹象时故障转移到另一个区域的端点 A

Salesforce 将每个响应上的两个路由字段视为一等遥测数据。网关将 InvokedRoutedResourceArn 和 RoutingReason 与现有的请求 ID 和跟踪 ID 记录在同一结构化日志行中,并将它们作为应用性能监控(APM)标签发出。由于 ARN 包含区域和账户信息,单条日志行就能显示请求是在本地运行还是跨越了边界,以及原因:local-preferred、failover、capacity-available 或 only-healthy。团队在调查流量转移时,会将这些字段与路由器的 Amazon CloudWatch 指标进行关联分析。

网关的超时设置考虑了跨区域往返延迟,因此故障转移的请求有足够时间在远程区域完成。由于路由器已经在另一个目标上重试一次,网关自身不再添加重试,从而避免在故障期间重试次数成倍增加。

示例设置

以下演练展示了 Salesforce 测试过的配置,使用示例 ID 和名称。Salesforce 首先在美国西部(俄勒冈)区域(us-west-2)创建了一个带有本地目标的路由器,并确认请求被路由到该目标。随后,团队注册了一个位于美国东部(俄亥俄)区域(us-east-2)、由不同账户拥有的端点,移除了本地目标,并确认请求跨越账户和区域边界到达了远程端点。在示例中,路由器账户为 111122223333,拥有 us-east-2 端点的账户为 444455556666。

在目标端点上授权路由器

在拥有 us-east-2 端点的账户中,所有者附加一个基于资源的策略,允许路由器账户调用该端点,并附带一个条件,将访问限制为某一个指定的路由器。路由器尚不需要存在,因此你可以使用计划创建的路由器的 ARN。

JSON
{
  "Version": "2012-10-17",
  "Statement": [{
    "Sid": "AllowInferenceRouter",
    "Effect": "Allow",
    "Principal": {"AWS": "arn:aws:iam::111122223333:root"},
    "Action": "sagemaker:InvokeEndpoint",
    "Resource": "arn:aws:sagemaker:us-east-2:444455556666:endpoint/example-toxicity-use2",
    "Condition": {"ArnEquals": {"sagemaker:SourceInferenceRouterArn":
      "arn:aws:sagemaker:us-west-2:111122223333:inference-router/example-agent-router"}}
  }]
}
BASH
# 在账户 444455556666 中、于该端点所在的区域运行
aws sagemaker put-endpoint-policy \
  --endpoint-name example-toxicity-use2 \
  --resource-policy file://policy.json \
  --region us-east-2

sagemaker:SourceInferenceRouterArn 条件意味着路由器账户只能通过该路由器访问此端点。端点所有者可以随时通过 delete-endpoint-policy 撤销访问权限。

创建路由器

在路由器账户中,于 us-west-2 创建路由器,并配置一个路由目标,通过 ARN 列出两个目的地。

PYTHON
import boto3

ir = boto3.client("sagemaker", region_name="us-west-2")

response = ir.create_inference_router(
    InferenceRouterName="example-agent-router",
    RoutingTargets=[
        {
            "Name": "toxicity-detection",
            "Destinations": [
                {"ResourceArn": "arn:aws:sagemaker:us-west-2:111122223333:endpoint/example-toxicity-usw2"},
                {"ResourceArn": "arn:aws:sagemaker:us-east-2:444455556666:endpoint/example-toxicity-use2"},
            ],
        }
    ],
)
print(response["InferenceRouterArn"])

每增加一个模型,就在 RoutingTargets 中增加一个条目。

确认每个目的地均可路由

在发送流量之前,调用 DescribeInferenceRouter 并检查每个目的地的 RoutingStatus。Routable 表示 SageMaker AI 能够读取该目的地,并且它可以处理流量。Unroutable 表示该目的地已被读取,但当前无法处理流量,例如因为端点未处于 InService 状态。Unknown 表示 SageMaker AI 无法使用你的凭证读取该目的地,例如因为你缺少 sagemaker:DescribeEndpoint(对于推理组件则是 sagemaker:DescribeInferenceComponent),或者对于位于其他账户的目的地,其端点策略未授予 Describe 权限。

PYTHON
desc = ir.describe_inference_router(InferenceRouterName="example-agent-router")
for target in desc["RoutingTargets"]:
    for dest in target["Destinations"]:
        print(target["Name"], dest["ResourceArn"], dest["RoutingStatus"])

调用路由器而非端点

调用代码的改动很小。请求体、内容类型和接受类型保持完全不变。客户端和操作发生变化,端点名称被替换为路由器名称和路由目标名称。

PYTHON
import json
import boto3

payload = json.dumps({"inputs": "Example input"})

# 之前:直接调用一个端点
smr = boto3.client("sagemaker-runtime", region_name="us-west-2")
resp = smr.invoke_endpoint(
    EndpointName="example-toxicity-usw2",
    ContentType="application/json",
    Body=payload,
)

# 之后:调用路由器
rt = boto3.client("sagemaker-inference-router-runtime", region_name="us-west-2")
resp = rt.invoke_inference_router(
    InferenceRouterName="example-agent-router",
    RoutingTargetName="toxicity-detection",
    ContentType="application/json",
    Body=payload,
)

print("Served by:", resp["InvokedRoutedResourceArn"])
print("Reason:   ", resp["RoutingReason"])
print("Output:   ", resp["Body"].read().decode())

InferenceId 和 CustomAttributes 会像 InvokeEndpoint 一样透传到目标,因此诸如跟踪 ID 之类的标识符会随请求一起传递。TargetVariant 和 InferenceComponentName 等成员不会被使用,因为路由目标已取代了它们。

查看请求的去向

大多数评估路由层的团队首先会问:如何判断它做了什么。推理路由器会在每个响应中以及 Amazon CloudWatch 中给出答案。每个响应都携带实际服务该请求的目标的 ARN 以及路由原因,分别位于 InvokedRoutedResourceArn 和 RoutingReason 字段,以及对应的 X-Amzn-SageMaker-Invoked-Routed-Resource-Arn 和 X-Amzn-SageMaker-Invoked-Routing-Reason 响应头中。由于 ARN 包含区域和账户信息,将这两个值与您自己的请求日志一起记录,就能获得每次请求的记录,了解每次调用是在本地运行还是跨越了边界。

路由原因取以下四个值之一。local-preferred 表示由路由器所在区域中一个健康的目标处理了该请求。failover 表示路由器所在区域中存在目标,但该目标无法可靠地提供服务,因此路由器将请求发送到了其他地方。capacity-available 表示路由器所在区域中没有目标能够接收该请求,请求被发送到了其他区域中若干健康目标之一。only-healthy 表示请求由唯一一个符合条件的健康目标处理。

总体而言,路由器会向其自身账户和区域中的 CloudWatch 发布 OpenTelemetry 指标,每个指标都带有路由器名称和目标 ARN,因此可以从一个地方看到跨区域的整体情况。aws.sagemaker.inference_router.invocations 统计每个目标的请求数,其 error.type 属性将失败分为 invocation_4xx、invocation_5xx(包括超时)以及 invocation_model_error(表示模型返回的错误)。

aws.sagemaker.inference_router.destination.duration 衡量每个目标所花费的时间,aws.sagemaker.inference_router.overhead.duration 衡量路由器额外增加的时间,包括与远程区域之间往返的网络时间。aws.sagemaker.inference_router.destination.status 将每个目标的健康状态报告为 healthy、overloaded 或 degraded。你可以在 CloudWatch Query Studio 中使用 PromQL 查询这些指标,并可以将它们与每个端点现有的 SageMaker AI 指标一起放在跨账户、跨区域的仪表板上。

CloudWatch 仪表板显示在故障转移期间,每个目标的请求数从本地端点转移到远程端点,然后在恢复后返回

图 2:AWS 使用测试模型进行故障转移测试期间的 CloudWatch 仪表板。随着本地目标变为降级状态,每个目标的请求数从本地 us-east-2 端点转移到 us-west-2 中的端点,然后在恢复后逐渐返回

跨账户和跨区域测试故障转移

Salesforce 在两种配置下测试了该路由器。第一种是 us-west-2 中的同区域路由,其中 Internal Gateway 调用本地推理路由器,路由器将请求发送到本地 Endpoint A。第二种是跨账户、跨区域路由,其中 us-west-2 中的路由器还列出了一个位于 us-east-2、由独立基础设施账户拥有的端点。在发送流量之前,团队调用了 DescribeInferenceRouter,确认路由目标列出了两个目的地,并且两者都报告 RoutingStatus 为 Routable。随后发送到路由器的请求由本地端点处理,路由原因为 local-preferred。设置几乎不费力气:端点所有者为路由器的账户添加了端点策略,路由器调用替换了网关出口路径中直接的 InvokeEndpoint 调用,请求体、内容类型和接受类型均保持不变。

为了测试故障转移,团队向 us-west-2 中的本地端点持续施压,直到其饱和,同时另一个探针持续调用路由器,并记录每个请求由哪里处理以及耗时。在大约五分钟的饱和期间,探针的 p50 延迟从 0.2 秒上升到 45 至 58 秒,流量仍留在 us-west-2。这是预期行为,因为仅凭延迟并不会转移流量。当请求开始超过模型容器 60 秒的处理超时并返回错误时,路由器开始转移流量。首批请求在首次错误出现约两分钟后到达 us-east-2,再过约一分钟,约 78% 的探针流量由 us-east-2 处理。剩余 20% 至 25% 留在本地,以便路由器检测恢复情况。

流量转移后,p50 延迟恢复到 0.2 秒,跨区域路径在 p50 上增加的延迟不到 100 毫秒。本地端点恢复后,流量在大约 10 分钟内逐步回到 us-west-2,探针在故障转移或故障恢复期间未记录到任何错误。每个响应上的 InvokedRoutedResourceArn 和 RoutingReason 字段,以及路由器在 CloudWatch 中的按目的地调用指标,无需任何额外埋点就展示了整个序列。

按区域划分的探测请求占比折线图:流量保持在 us-west-2,在饱和期间转移到 us-east-2,恢复后又回到 us-west-2

图 3:Salesforce 故障转移测试期间按区域划分的探测请求占比(UTC)。当本地端点饱和时,流量保持在 us-west-2;一旦请求开始返回错误,流量便转移到 us-east-2(峰值约为 78%);恢复后,流量在约 10 分钟内逐步回到 us-west-2

该路由器让 Salesforce 得以替换团队过去自行构建和运行的运维逻辑:即 Internal Gateway 中的健康检查、重试和区域切换逻辑。容量信号和故障转移现在位于路由层,而不再存在于每个应用中。

在更广泛采用之前,Salesforce 计划重复故障转移测试,让本地端点保持饱和更长时间,以毫秒级精度测量跨区域延迟,评估在跨区域上限下的级联区域行为,并在更多区域推广该路由器。

“借助 Amazon SageMaker AI 中新的跨区域推理路由,我们可以安全地增加容量,同时遵守数据驻留承诺。必须留在某个区域的工作负载就留在那里,只有符合条件的流量才能由另一个区域提供服务。一次托管调用即可与我们现有的故障转移逻辑协同工作,因此我们无需重新架构应用或更改负载。SageMaker AI 负责路由、健康检测和回退,客户数据始终留在 Salesforce 信任边界内。我们决定哪些区域符合条件,并通过我们自有的端点策略控制访问。由于推理路由器可与 Amazon CloudWatch 和 AWS CloudTrail 配合使用,我们还为工作负载获得了完整的可观测性、成本跟踪和治理架构。”

— Richard Chang,Salesforce 软件工程架构师

最佳实践与注意事项

在你注册的每个区域中保持相同的模型、容器镜像和构件可用,因为路由器不会复制它们,而运行不同模型版本的目标区域会对同一请求返回不同的答案。

为每个目标区域按其自身流量加上你预期发送给它的溢出流量来规划容量。路由器不会创造容量,如果所有符合条件的目标都繁忙,你的应用程序将收到目标自身的错误。按照你目前的方式在每个目标上配置自动扩缩容,并留出足够的余量,使接收端点在来自其他区域的流量到达时能够按照自身策略进行横向扩展。

客户可以在接收端点的配置(CrossRegionTrafficConfig)中设置上限,以每实例请求速率以及远程流量可使用的端点容量最大占比来表示。本地流量永远不会计入该上限。当远程流量达到上限时,端点会停止接受来自其他区域的额外请求,路由器会将这些请求发送到其他目标,从而让本地调用方保留其容量。该上限适用于实时端点。

结论

Salesforce 在 30 多个全球区域为公司各产品提供种类繁多的模型,而在每个区域单独托管这些模型会使容量短缺演变为可用性问题。借助推理路由器,Salesforce 将其已在不同区域运行的端点和账户注册到一次调用之下,因此本地端点无法服务的流量会转而利用其他地方的容量,而不是失败。必须留在某个区域内的请求会留在该区域,端点所有者通过其控制的策略授权跨账户访问,并且每个响应都会显示请求在何处运行以及原因。SageMaker AI 负责路由、健康评估以及恢复后逐步恢复流量,而不是由每个调用应用程序自行构建这些逻辑。这使 Salesforce 能够安全地增加容量,同时遵守其数据驻留承诺。

Amazon SageMaker AI 中的跨区域推理路由将于 2026 年 11 月 18 日正式可用,适用于所有支持实时端点推理的商业区域。要开始使用,请参阅 Amazon SageMaker AI 开发人员指南中的推理路由器文档和 CreateInferenceRouter API 参考。