AWS 发布 SageMaker HyperPod Global Inference Gateway,将原本单集群内的 GPU 感知路由扩展为跨集群、跨区域的统一推理入口。网关基于 KV 缓存利用率与队列深度等实时信号选择集群,通过 AWS 骨干网传输请求,并借助 SigV4 与 IAM 实现自动故障转移与鉴权。该能力主要解决流量高峰时部分集群排队、另一些集群 GPU 闲置的容量浪费问题。
工具slug: sagemaker-hyperpod
SageMaker HyperPod
AWS 面向大规模模型训练与推理的托管集群服务,支持弹性 GPU 资源与容错调度
收录情报动态
AWS Machine Learning BlogT1·算力与基建
58 分
AWS Machine Learning BlogT1·算力与基建
58 分
AWS 回顾了 SageMaker Inference 在 2026 年的多项更新,核心包括 HyperPod Inference 新增路由策略、支持更多模型服务框架与多区域网络,Inference Gateway 负责请求路由,并引入托管版 NVIDIA Dynamo 作为新的服务框架。托管端点方面,推理推荐已可在 SageMaker AI Studio、Python SDK 及编码智能体中运行,端点支持跨区域与跨账户路由,帮助团队在流量变化后重新选型、在已付费 GPU 上部署更多模型并解决区域间算力闲置问题。
AWS Machine Learning BlogT1·算力与基建
62 分
亚马逊 SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,将 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理相结合,解决超大模型单机显存不足与长提示词拖慢生成的问题。该方案支持多节点部署、预填充与解码分离以及 KV 感知路由,并兼容 vLLM、SGLang、TensorRT-LLM 等引擎,底层依托 EFA 高性能网络与 GPU 调度、节点健康监控。
AWS Machine Learning BlogT1·开发与工程
42 分
AWS 为 SageMaker HyperPod 推出内置 Data Capture 能力,可将生产推理的输入输出以三个独立层级写入 S3,且对模型可用性零影响。文章以家电客服路由为例,演示从流量捕获、Athena 查询发现新品盲区、SQL 标注到微调回训的完整飞轮,并对比改进前后的准确率。