返回全部资讯
AWS Machine Learning BlogT1·开发与工程

SageMaker 新增 AI 数据准备能力

作者:Varun Rajan原标题:Announcing AI data preparation capabilities in Amazon SageMaker: Build high-quality datasets for model development workflows
62AI 研判分

AWS 为 Amazon SageMaker AI 推出 AI 数据准备能力,支持生成合成样本、评估与改进现有数据集,并接入模型开发工作流。该能力瞄准微调、强化学习与评测套件中最耗时的数据环节,帮助团队以更低成本构建高质量任务数据。

报道正文

本文目录5 个章节

将生成式 AI 投入生产环境的团队都清楚,模型的好坏取决于其数据。正因如此,准备高质量的训练和评估数据是首要任务。微调开放权重模型、运行强化学习,或构建评估套件,都依赖于准确、标注良好且能代表你任务的数据。对于范围狭窄、定义明确的任务,一个用干净、任务特定数据定制的小模型,往往能以更低的每次推理成本,达到甚至超越一个被提示调教过的大型通用模型的准确率。

然而在实践中,准备这些数据往往是项目中最慢的环节。标注样本稀缺或昂贵,隐私法规限制了你可以使用的数据。重复、标签噪声和答案泄漏等质量问题,直到某次训练结果令人失望时才被发现,而每种训练技术都期望数据以其各自的格式呈现。结果,数据科学家花费数周时间处理数据,而不是构建模型。

今天,我们扩展了 Amazon SageMaker AI,为模型开发工作流新增了 AI 数据准备能力。你可以生成合成样本、评估和改进现有数据集,并通过 Python SDK API 和 AWS AI-ML agent skill 将专家反馈引入流程。你在自己的 notebook 或 IDE 中工作,所使用的规格说明和代码都可以检查和修改。

无需手工搭建流水线即可准备数据

借助 AI 数据准备能力,你无需再拼凑标注工具、生成脚本和验证作业。每项能力都是一个独立的构建模块。你可以单独使用其中一项,也可以按照你想要的工作流将它们串联起来。

  • 自动标注: 从无标注数据集、少量有标注的种子集,或完全无标签的情况下,大规模地为数据打标签。内置任务类型包括分类、命名实体识别、抽取式问答、序数评分和摘要,你也可以定义自定义任务。你只需用一段简短的标注规范描述任务,该规范会先在你自己的示例上进行验证,然后再对完整数据集进行标注。对于答案集合固定的任务(如分类、命名实体识别和抽取式问答),由多个模型组成的评审团对每一行进行标注,它们的一致程度即成为该行的置信度分数。
  • 人工审核: 低于你置信度阈值的行会进入 Amazon SageMaker Studio 中的审核队列,该队列使用开源的 Label Studio Community Edition。外部领域专家可以通过 SageMaker Studio 中合作伙伴应用框内的链接访问审核应用。审核者的修正会反馈到自动标注中,你还可以生成共识指标和标注报告。
  • 合成数据生成: 根据规范生成训练、评估和测试数据。你可以将输出建立在自己的种子数据和文档之上,该服务会生成一个基于代码的数据生成流水线,你可以对其进行审查、修改、复用和扩展。
  • 数据质量评估: 依据你自己的业务规则、内置指标和 LLM-as-a-judge 指标来检查数据集。查找重复项和近似重复项,并揭示你未曾想到要检查的问题,例如标签噪声或答案泄漏。
  • 数据转换: 为你的目标训练技术清洗和重塑数据。用自然语言描述变更并为你生成代码,使用内置操作(如去重、合并、拆分和过滤),或大规模运行你自己的 Python 代码。

你可以在任何你已经在用的环境中工作。直接使用 SageMaker Python SDK,或将 agent 工具包中的 AI-ML 技能提供给你的编码 agent,让你的 agent 按照既定的数据科学最佳实践调用这些 API。描述你的需求,agent 便会在 SageMaker Studio JupyterLab、Kiro 或你本地 IDE 中,配合你选择的编码助手,选择并运行合适的能力。

对于构建专用模型的团队来说,最困难的部分往往是找到足够的任务特定数据。思科旗下的 Splunk 在为其 Agent Observability 产品构建评估模型时就恰好面临这一难题。

“对于 Splunk Agent Observability 而言,我们训练稳健的 GenAI Eval 模型的能力依赖于获取高质量、多样化的数据集,而这些数据集针对非常具体的任务很难精心整理。Amazon SageMaker AI 的合成数据生成数据准备能力正在切实帮助我们扩展这些能力。我们能够可靠且快速地生成具有统计代表性的合成数据集,同时保留我们模型所依赖的底层模式。与 SageMaker 工作流其余部分的无缝集成意味着我们的数据科学家和客户花更少时间处理数据,更多时间构建模型,从而通过 Splunk 驱动真正的企业价值。” — Yash Sheth,Splunk Agent Observability 工程总监

从原始数据到训练的链式能力

当你组合这些能力时,价值会增长。一些常见模式:

构建黄金评估数据集:从一个小型种子集自动标注你的原始数据。高置信度的行会被自动接受,低置信度的行则交给人工审核员。他们的修正会改进下一轮标注,从而产生一个可信的、经人工验证的数据集,用于对你的模型进行基准测试。

在一个工作流中从原始文档到训练好的模型:

  1. 生成数据: 合成数据生成创建以你的文档和种子数据为基础的任务特定示例。
  2. 转换数据: 数据转换将数据重塑为你的训练技术所期望的格式,例如监督微调(SFT)、直接偏好优化(DPO)或强化学习(RL)。
  3. 验证数据: 数据质量评估在你将算力花费在训练之前检查数据集是否存在重复、泄漏和规则违规。
  4. 训练: 使用 SageMaker AI 模型定制进行训练。

工作原理

考虑一个团队正在准备数据以评估智能体客户支持助手。其产品指南指出,恢复出厂设置会清除已保存的设置。该团队想要测试助手在回答重置问题时是否保留该警告。

一次数据准备工作流的运行过程如下所示:

  1. 定义需求: 将产品指南作为上下文提供,并描述你所需的问题和参考答案。加入一项要求:关于恢复出厂设置的答案必须保留有关已保存设置的警告。与你的编码智能体一起审查生成的规范。
  2. 生成并检查样本: 生成一小批数据,并对照指南检查记录。审查生成过程和检查代码。确认示例覆盖了预期的问题,且参考答案遵循源材料。
  3. 评估与审查: 运行数据质量评估并检查记录级发现。请主题专家审查有歧义的答案或有争议的评估结果。利用结果和标注来请求改进建议。
  4. 应用更改并重复: 如果需求需要澄清,则修订规范;或转换数据集以解决重复等问题。在需要时生成更多示例,然后在将修订后的数据集用于评估助手之前重新评估它。

此示例工作流展示了这些能力如何协同配合。

掌控你的准备流程和数据

借助 AI-ML 技能,你可以用自然语言描述任务,而你的编码智能体则帮助构建规范、准备代码并协调数据准备步骤。你可以打开这些产物,查看工作流是如何配置的,并直接进行更改。

如果你更愿意自行调用 API,可使用 Python SDK API 从你自己的代码中调用各项单独的能力。SDK API 以规范作为输入,因此我们建议在智能体的帮助下创建规范。你可以将质量评估添加到现有流程中、为新任务生成数据,或组合多项操作。你可以选择项目所需的准备步骤,以及它们如何融入你的模型定制和评估流程。

AI 数据准备使用由你控制的 AWS Identity and Access Management (IAM) 执行角色运行。你的源数据、生成的数据集和标签都保留在你自己的 Amazon Simple Storage Service (Amazon S3) 存储桶中,位于你所选的 AWS 区域。

立即开始

AI 数据准备能力已在美国东部(弗吉尼亚北部)和美国西部(俄勒冈)区域正式可用。

有两种入门方式:

  • 使用你的编码代理 – 在你支持的 notebook 或 IDE 中设置数据准备技能。描述一个训练或评估任务,并在生成样本之前审查生成的规范。
  • 使用 Python – 直接使用 SageMaker Python SDK 从你自己的代码中运行各个数据准备功能。该 SDK 以规范作为输入,因此我们建议先使用 AI-ML 技能创建规范,然后使用 SDK 在工作流中运行它们。

有关更多信息,请参阅 Amazon SageMaker AI 文档。