工具slug: amazon-sagemaker-ai访问官方网站

Amazon SageMaker AI

AWS 的全托管机器学习平台,支持模型训练、部署与实时流式推理

收录情报动态

共 4 篇 · 第 1/1 页
AWS Machine Learning BlogT1·算力与基建
62 分
Salesforce 用 SageMaker 跨区推理路由支撑 30 个区域模型服务

Salesforce 的 Agentforce Foundation 团队在 30 多个全球区域部署自研与开源模型,此前各区域独立托管导致容量割裂、流量高峰易演变为可用性问题。借助 Amazon SageMaker AI 的跨区域推理路由,Salesforce 以单一调用路径将请求分发至多区域、多账号下可服务的自有端点,在满足数据驻留承诺的同时弹性扩容,并可追踪每个请求的落地区域与原因。

AWS Machine Learning BlogT1·算力与基建
62 分
SageMaker 实时端点新增 KV 缓存感知路由

Amazon SageMaker AI 为实时推理端点推出 KV 缓存感知路由策略,依据模型容器上报的缓存状态,将请求优先调度至已缓存相同前缀且负载较低的实例,从而降低多轮对话、长共享提示词与 RAG 场景的首 token 延迟。该功能通过一个环境变量与端点配置中的 KV_AWARE 路由策略即可开启,客户端 API 无需改动。

AWS Machine Learning BlogT1·开发与工程
62 分
SageMaker 新增 AI 数据准备能力

AWS 为 Amazon SageMaker AI 推出 AI 数据准备能力,支持生成合成样本、评估与改进现有数据集,并接入模型开发工作流。该能力瞄准微调、强化学习与评测套件中最耗时的数据环节,帮助团队以更低成本构建高质量任务数据。

AWS Machine Learning BlogT1·算力与基建
42 分
AWS 为 SageMaker 双向流式推理推出按用量计费

AWS 宣布为 Amazon SageMaker AI 双向流式推理引入按用量计量能力,使模型提供商可在 AWS Marketplace 上按实时流中的实际消耗收费,端点基础设施费用仍单独计收。Deepgram 作为首个合作伙伴,将按用量计费的语音转文字与文字转语音服务带上 Marketplace。