Amazon SageMaker 推出 MCP 技能优化推理
Amazon SageMaker AI 发布 `aws-ai-ml` 技能,通过 Agent Toolkit for AWS 集成至支持 MCP 协议的编码代理(如 Kiro、Claude Code)。该工具赋予代理自动基准测试端点、推荐部署配置及生成 SDK v3 代码的能力,旨在简化从模型到生产环境的推理优化流程。
报道正文
本文目录13 个章节
工程师们越来越多地使用编码辅助工具来加速其开发工作流。今天,Amazon SageMaker AI 优化生成式 AI 推理推出了 aws-ai-ml 技能,该技能可通过 AWS Agent Toolkit 获取。这项技能为 Kiro、Claude Code 和 Codex 等编码代理提供了在推理优化和基准测试方面的深厚专业知识。安装该技能后,你现有的代理可以为你执行端点基准测试、推荐部署配置、比较性能运行结果,并生成可执行的 SageMaker Python SDK v3 代码。aws-ai-ml 技能是一个工具包,可插入任何支持模型上下文协议(MCP)的编码代理中,将其转变为 SageMaker AI 推理优化专家。
在这篇文章中,我们将详细介绍该技能的功能、设置方法,以及它如何帮助你更快地从模型走向生产环境。
挑战:弥合意图与基础设施之间的差距
Amazon SageMaker AI 支持服务器化托管,涵盖实时、批处理和异步模式。它提供按需和预留容量、异构实例、虚拟私有云(VPC)隔离、自动扩展,以及与所有 SageMaker AI 训练路径的集成。其功能范围广泛且深入,但大多数工程师并不清楚哪种实例系列或服务容器最能满足他们的需求。他们带着具体的用例而来:想要达到的性能目标、需要控制在范围内的成本预算,或者需要在投入生产前评估的模型。
针对 SageMaker AI 优化生成式 AI 推理的智能体体验弥补了这一差距。你只需告诉代理你想完成什么任务,它就会生成可执行的 SageMaker Python SDK v3 代码,供你在自己的环境中审查、修改和运行。代理会提出有针对性的澄清问题,基于真实的基准测试和实测性能数据生成代码,并像解决方案架构师一样适应你的业务约束条件。
在整个过程中,你始终掌握控制权。每一步都实时可见,并以你可以阅读和质疑的代码形式呈现。没有任何操作隐藏在不透明的用户界面背后。
入门指南
你可以通过 Agent Toolkit for AWS 在本地机器上安装 aws-ai-ml skill,或者在 Amazon SageMaker Studio JupyterLab 环境中使用它。无论哪种方式,你都可以在 10 分钟内从零开始实现可用的对话功能。
选项 A:配合任意编码 agent 使用(Kiro、Claude Code、Codex 或任何兼容 MCP 的 agent)
步骤 1:安装 Agent Toolkit for AWS。 如果尚未设置,请先配置 Agent Toolkit。这需要安装 AWS Command Line Interface (AWS CLI) 2.35+ 版本以及 uv。
aws configure agent-toolkit此命令会自动检测你的 agents,安装 skills,并配置 AWS MCP Server。有关针对特定 agent 的设置(插件安装命令、MCP 配置),请参阅 Agent Toolkit for AWS 入门指南。
步骤 2:安装 aws-ai-ml skill。 将 SageMaker AI 优化的生成式 AI 推理 skill 添加到你的 agent 中:
npx skills add aws/agent-toolkit-for-aws/skills/aws-ai-ml步骤 3:确认并开始。 打开你的编码 agent 的聊天面板,询问:“有哪些可用的 skills?”你应该能看到 aws-ai-ml 列在其中。确认后,用自然语言描述你的意图。此时,你的编码 agent 已内置了 SageMaker AI 推理优化专业知识。
前提条件: 你的 AWS 凭证必须具有调用 SageMaker AI API 的权限(创建端点、运行 benchmark 和 recommendation jobs)。该 skill 生成的代码将在你的凭证下运行。skill 本身无需额外的 AWS Identity and Access Management (IAM) 配置。
注意: 对于 Kiro 和 Claude Code,agents 可以在运行时发现 skills。它们可以通过 AWS MCP Server 按需搜索并加载 skills,而无需进行本地安装。你可以询问你的 agent:“搜索与数据库相关的 AWS skills。”有关运行时发现 skills 的信息,请参阅 readme。
选项 B:在 Amazon SageMaker Studio 中使用
如果你更喜欢在托管的 JupyterLab 环境中工作,可以使用预配置镜像在 Amazon SageMaker Studio 中应用该 skill。
步骤 1:打开 Amazon SageMaker Studio。 导航至目标 AWS 账户和 AWS 区域中的 Amazon SageMaker Studio。选择你的 Studio 域,并从用户配置文件中启动 Studio IDE。
步骤 2:创建 JupyterLab 空间。 从 Studio 着陆页选择 JupyterLab,然后选择 Create JupyterLab space(创建 JupyterLab 空间)。为空间命名(例如 my-inference-opt),并将共享设置保持为 Private(私有)(技能仅在私有空间中同步)。在 Image(镜像)菜单下,选择包含 SageMaker AI 优化生成式 AI 推理技能的镜像。该镜像已预配置了 aws-ai-ml 代理技能及所有必要的依赖项。选择 Run space(运行空间)并等待其启动(首次启动需 5–10 分钟)。
注意: 请使用全新的空间。如果复用之前本地修改过技能版本的空间,可能无法加载预配置的镜像。
步骤 3:打开 JupyterLab 并启动终端。 空间启动后,打开 JupyterLab 并选择 Terminal(终端)。
步骤 4:授权你的编码代理。 在终端中,使用你的身份提供商对编码代理进行身份验证。例如,对于 Kiro:
kiro-cli login --license pro --identity-provider <your-IdP-start-URL> --region us-east-1 --use-device-flow步骤 5:确认并开始。 打开编码代理的聊天面板并询问:“有哪些可用技能?”你应该能看到 aws-ai-ml 列在其中。确认后,用自然语言描述你的意图。
故障排除: 如果代理报告没有可用技能,请验证你的空间是否设置为 Private(私有)。你也可以通过终端检查:
ls ~/.kiro/skills/如果该目录为空,但
/etc/sagemaker/skills/中包含技能文件,请运行restart-jupyter-server,刷新页面并重试。
你可以做什么
代理体验涵盖了推理优化生命周期中的以下功能。你无需知道具体要调用哪个功能。只需描述你的需求,代理会自动确定下一步操作,或在信息不明确时提出澄清性问题。
对现有端点进行基准测试
如果你已经在 SageMaker AI 端点上部署了模型,可以要求代理对其进行基准测试。告诉代理你想测试哪个端点,它将生成一个 Python notebook,使用 SageMaker Python SDK 中的 Workload.synthetic() 和 start_benchmark() API 来运行负载测试。
在运行任何基准测试之前,智能体会确认你的端点可以安全地进行负载测试,因为基准测试会向实时端点发送真实流量。
当基准测试完成后,你将获得一份量化性能报告,包含:
- 吞吐量:每秒请求数、每秒输出 token 数。
- 延迟:p50、p99、首 token 时间(time-to-first-token)、token 间延迟。
- 并发量:支持的并发请求数量。
这些数值是在真实基础设施上通过真实负载测得的,而非估算值。智能体还会推荐提升性能的机制(例如 prefill decoding)。
示例提示: “对 SageMaker AI 上的 Llama 端点进行基准测试。”
为你的模型找到合适的实例类型
如果你已有模型,并需要找到合适的实例类型将其部署到 SageMaker AI,请告知你的智能体。无论你的模型存放在哪里或如何获取的,都不影响这一过程:
- Amazon Simple Storage Service (Amazon S3) 中的微调或自定义模型:你训练或下载了一个模型并将其存储在 S3 中。提供 S3 URI 和你的优化目标。示例提示:“我想找到最便宜的实例类型,以便在 SageMaker 上部署我的微调模型。”
- Amazon SageMaker JumpStart 中的公开基础模型:你想从 JumpStart 目录中部署一个基础模型(FM),请提供模型 ID。示例提示:“为 SageMaker AI 上的 huggingface-reasoning-qwen3-8b 模型找到最佳实例。”
- Hugging Face Hub 上的模型:你想使用托管在 Hugging Face 上的模型。提供模型名称。对于受限访问的模型(如 Llama 变体),你的智能体会展示许可条款,并要求你接受条款并提供 Hugging Face token。示例提示:“我想从 Hugging Face Hub 部署一个 Llama 模型。哪个选项最便宜?”
在所有情况下,你的智能体都会生成代码,针对候选实例和配置评估你的模型,然后呈现带有具体性能指标(吞吐量、延迟百分位、首 token 时间和并发量)的排名部署选项。你可以根据成本和性能需求进行选择。
比较基准测试结果
如果你运行了多个基准测试(例如,在配置更改前后,或在两种实例类型之间),你可以要求 agent 对它们进行比较。提供两个基准测试任务的名称,agent 将生成一份对比报告,计算关键指标的差异:吞吐量、延迟百分位数以及首 Token 时间(time-to-first-token)。
结果显示百分比变化,其中正值表示性能更优,从而为你提供单一、易于理解的总结,说明你的更改是提升了性能、降低了性能,还是没有产生显著影响。
如果其中一个基准测试运行不存在,agent 会提议先运行该测试,然后再进行对比。
示例提示: “我有两次基准测试运行结果,我想比较一下。哪一个更快?”
基准测试结果
下表比较了两个部署模型在同一基准工作负载下的表现(512/256 tokens,并发数为 4)。Δ% 列显示模型 B(Qwen3-8B)在每个指标上比模型 A(Qwen3-1.7B)快多少。正值表示模型 B 表现更好。
| 指标 | Qwen3-1.7B (Model A) | Qwen3-8B (Model B) | Δ% |
|---|---|---|---|
| 输出 Token 吞吐量 | 188.2 tokens/s | 271.2 tokens/s | +44.1% |
| 单用户吞吐量 | 47.5 tokens/s | 69.4 tokens/s | +45.9% |
| 请求吞吐量 | 0.736 req/s | 1.08 req/s | +46.7% |
| Token 间延迟 | 20.9 ms | 14 ms | +33.0% |
| 请求延迟 | 5,382 ms | 3,658 ms | +32.0% |
| 首 Token 时间 | 67.5 ms | 166.3 ms | −146.5% |
这两个模型运行在不同的硬件上。Qwen3-8B 使用配备 4 块 GPU 的 ml.g5.12xlarge(4x A10G),而 Qwen3-1.7B 使用单块 L4 GPU(ml.g6.4xlarge)。这些差异反映了大约 4 倍的算力差距,而不仅仅是模型本身的差别。
结论:Qwen3-8B 提供了约 44–47% 更高的吞吐量和更低的端到端延迟,这主要归功于额外的 GPU 算力。Qwen3-1.7B 仅在首 Token 时间上胜出,这是较小模型在单 GPU 上的预期优势。
综合应用
你无需记住功能名称或知道应该请求哪种工作流。下表展示了常见请求如何映射到具体结果。
| 你说 | 你得到 |
|---|---|
| “我已经部署了一个模型,想知道它的速度如何。” | 量化性能报告:基于真实负载的吞吐量、延迟百分位数和并发指标。 |
| “我有一个模型在 S3 中,但不知道该在什么实例上部署。” | 排名靠前的部署选项,包含每个候选配置的成本、吞吐量和延迟。 |
| “我想部署一个 JumpStart 模型并找到最便宜的实例。我只有模型 ID。” | 排名靠前的部署选项,无需 S3 暂存。如有需要,会提供受限模型的替代方案。 |
| “我在更改前后运行了基准测试。哪一个更快?” | 所有指标的百分比变化,指示性能提升或回归。 |
| “我想优化来自 Hugging Face Hub 的 Llama 模型。” | 显示许可证信息,将模型暂存到 S3,然后输出标准推荐结果。 |
如果你的请求涉及多种功能(例如,先暂存 Hugging Face 模型,然后获取部署建议),代理会在同一对话中自然地串联这些步骤。
对代理的预期表现
配备 aws-ai-ml 技能的代理遵循以下行为准则,使体验可预测且安全:
- 它会询问所需信息。 如果缺少信息(如端点名称或 S3 URI),代理会要求你提供,而不是猜测。
- 它在执行有影响力的操作前会确认。 在运行向实时端点发送真实流量的基准测试之前,代理会警告潜在影响并请求明确确认。
- 它会告知超出范围的操作。 如果你要求代理无法完成的任务(如部署模型),它会解释它能提供的替代方案,例如生成所需的部署配置。
- 它生成 SageMaker Python SDK v3 代码。 所有输出均为可执行代码,你可以在自己的环境中检查、修改和运行。
清理资源
为避免持续产生费用,请删除你创建的资源:
- 删除 SageMaker AI 端点,这些端点是在基准测试或推荐过程中创建的。
- 如果你使用了 SageMaker Studio,请停止或删除你的 JupyterLab 空间。
- 移除 S3 对象,这些对象是由基准测试和推荐作业存储在你的 SageMaker AI 默认存储桶中的。
结论
针对 Amazon SageMaker AI 的 aws-ai-ml 技能优化了生成式 AI 推理,将你现有的编码代理转变为 SageMaker AI 推理优化专家。无论你需要对实时端点进行基准测试、为你的模型寻找最便宜的实例、比较配置,还是暂存 Hugging Face 模型以进行评估,你只需描述需求,你的代理就能交付可衡量的结果。
要开始使用,请通过 AWS Agent Toolkit 安装该技能,并将其添加到你已使用的编码代理中,或者在 Amazon SageMaker Studio 中启动一个预配置的 JupyterLab 空间。有关更多信息,请参阅 Amazon SageMaker AI 文档。