AWS Machine Learning BlogT1·算力与基建
62 分
亚马逊 SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo,将 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理相结合,解决超大模型单机显存不足与长提示词拖慢生成的问题。该方案支持多节点部署、预填充与解码分离以及 KV 感知路由,并兼容 vLLM、SGLang、TensorRT-LLM 等引擎,底层依托 EFA 高性能网络与 GPU 调度、节点健康监控。