AWS Machine Learning BlogT1·算力与基建
58 分
AWS 发布 SageMaker HyperPod Global Inference Gateway,将原本单集群内的 GPU 感知路由扩展为跨集群、跨区域的统一推理入口。网关基于 KV 缓存利用率与队列深度等实时信号选择集群,通过 AWS 骨干网传输请求,并借助 SigV4 与 IAM 实现自动故障转移与鉴权。该能力主要解决流量高峰时部分集群排队、另一些集群 GPU 闲置的容量浪费问题。
KV Cache Utilization
衡量推理服务中键值缓存占用程度的指标,常用于判断实例负载与路由决策
AWS 发布 SageMaker HyperPod Global Inference Gateway,将原本单集群内的 GPU 感知路由扩展为跨集群、跨区域的统一推理入口。网关基于 KV 缓存利用率与队列深度等实时信号选择集群,通过 AWS 骨干网传输请求,并借助 SigV4 与 IAM 实现自动故障转移与鉴权。该能力主要解决流量高峰时部分集群排队、另一些集群 GPU 闲置的容量浪费问题。