SageMaker 支持多轮 RL 微调搜索智能体
Amazon SageMaker AI 推出基于多轮强化学习(Multi-turn RL)的微调方案,旨在解决搜索智能体在复杂交互中的可靠性问题。该方案允许开发者通过定义任务特定奖励函数,将小模型训练至具备接近前沿大模型的多步推理与工具调用能力,同时显著降低延迟与成本。
报道正文
本文目录12 个章节
由大语言模型(LLM)驱动的搜索智能体正在改变企业检索信息的方式。与要求用户精心构造完美查询不同,搜索智能体能够自主决定搜索内容、选择检索策略以及确定何时停止搜索。它通过多轮交互完成这一过程,并根据已检索到的信息不断优化其方法。
然而,要让这种多步骤行为高效运作颇具挑战。任何基础模型在初始状态下都不了解你的工具或环境。若提示小型模型,往往难以获得可靠的多轮对话行为;若提示前沿模型,虽然通常能正常工作,但你需要为此付出更高的延迟和成本。微调提供了第三条路径:你可以直接向小型模型传授你的工具和环境知识。最终结果兼具小型模型的速度与成本优势,以及原本只有前沿模型才能提供的可靠性。
尽管微调是自然的下一步选择,但传统方法各有不足。监督微调(SFT)依赖于理想多轮轨迹的专家演示数据,这些数据不仅收集成本高昂,而且针对特定场景往往并不存在。单轮强化学习(RL),例如基于可验证奖励的强化学习(RLVR),每次仅对单个响应进行评分。但搜索智能体需要在多个回合中做出相互依赖的决策,每一步都建立在前一步的上下文之上。孤立地优化单一步骤会完全忽略这些依赖关系。
你需要的是一种能够在完整多轮轨迹上优化智能体的训练方法。奖励信号只需反映最终结果是否良好即可。这正是多轮强化学习(MTRL)所提供的能力。它训练智能体在整个步骤序列中做出正确决策,将环境特定的行为内化到模型中,并让你能够控制输出质量。由于运行的是更小、更专业的模型,你还能获得更快、更经济的推理速度。
在本文中,我们将介绍如何使用 Amazon SageMaker AI 多轮强化学习(MTRL) 来微调搜索智能体,并分享我们在检索质量和可靠性方面观察到的结果。我们首先解释什么是 Amazon SageMaker AI MTRL 及其工作原理。
什么是 Amazon SageMaker AI MTRL?
借助 Amazon SageMaker AI MTRL,你可以使用强化学习在多轮交互场景下对 LLM 进行微调。它将智能体任务构建为一系列决策序列,利用多轮 rollout 生成训练数据,并通过策略梯度算法优化模型。
Amazon SageMaker AI MTRL 提供以下功能:
- 模块化智能体-环境接口:保持低代码集成。你可以定义自定义奖励、自定义工具循环以及多轮对话结构。
- 无服务器执行:以按 token 计费的方式实现生产规模的智能体 RL,无需预置或管理 GPU 集群。
- 异步 rollout 与轨迹收集:并行运行生成过程和梯度更新,并限制 off-policy 的滞后性(staleness),从而确保训练速度快的同时不会偏离当前策略太远。
- 原生算法库:你可以选择近端策略优化 (PPO)、截断重要性采样策略优化 (CISPO) 和重要性采样 (IS) 损失函数,并结合基于组的优势估计器(GRPO、GRPO pass@k、RLOO 等)。
- 可恢复训练:你可以将长时训练任务拆分为多个作业,以突破单个作业的时间限制。
- 轨迹与奖励可观测性:你可以在由 Amazon SageMaker AI 托管的 MLflow 中,逐轮检查智能体的行为以及跨训练步骤的表现。
- 评估作业:在部署到 Amazon SageMaker AI 端点或 Amazon Bedrock 之前,你可以报告奖励、pass@k 和轨迹指标。
这使得 MTRL 成为搜索智能体的理想选择:你拥有清晰的奖励信号(检索质量)、多轮交互循环(智能体发出查询并接收结果)以及明确定义的环境(搜索工具)。
环境与设置
我们的设置依赖于以下条件:
- 一个 AWS 账户,且有权访问位于美国西部(俄勒冈)AWS 区域 (us-west-2) 的 Amazon SageMaker AI。
- 已按照所需格式上传至 Amazon Simple Storage Service (Amazon S3) 的训练和验证数据集(详见 MTRL 文档)。
- 一个已部署的智能体端点,该端点暴露 BM25 和向量搜索工具,供 MTRL 环境在 rollout 期间调用。
- 熟悉 Amazon SageMaker AI 和 Python。
解决方案概述
在本文中,我们使用 Amazon SageMaker AI MTRL 对 Qwen3.6-27B 模型(支持美国西部俄勒冈区域 us-west-2)进行微调,以构建一个搜索智能体。该搜索智能体是一个由 LLM 驱动的系统,能够自主调用搜索工具来查找、收集并综合信息,从而回答问题或完成任务。
我们聚焦于企业级搜索场景,其中智能体可使用以下两种工具:
- 词汇搜索(BM25): 通过统计词频实现精确关键词匹配。适用于包含特定术语或标识符的查询。
- 向量搜索: 将查询和文档转换为嵌入向量并计算相似度。推荐用于语义或概念性查询。
此外,我们还限制了交互轮数(一轮指一次用户与助手之间的完整交互),以防止智能体生成过长的响应,并促使其采用更高效的搜索行为。
训练设置
本节将介绍训练设置的三个关键组成部分:数据集、奖励函数以及 MTRL 作业配置。
数据集
我们使用以下数据集进行训练和测试:
| 数据集 | 训练/测试 | 公开链接 | 描述 |
|---|---|---|---|
| FRAMES | Train | HuggingFace | 多跳事实型问答,需要综合多篇维基百科文章的信息。 |
| BRIGHT | Train | HuggingFace | 涵盖 12 个领域的推理密集型检索任务,其中相关性依赖于推理而非关键词重叠。 |
| Enterprise RAG | Train | GitHub | 一个基准测试集,包含超过 500,000 份合成的企业文档和 500 个问题,用于在内部公司知识上训练和评估 RAG 系统。 |
| ESCI | Train | GitHub | 一个多语言产品搜索数据集,将查询–商品对标记为 Exact(精确匹配)、Substitute(替代品)、Complement(互补品)或 Irrelevant(不相关)。 |
| Musique | Train | GitHub | 通过将单跳问题组合成具有挑战性的多跳推理问题而构建的问答数据集。 |
| MLQA | Train | HuggingFace | 一个覆盖七种语言的平行抽取式问答基准,用于评估跨语言理解能力。 |
| FreshStack | Test | HuggingFace | 基于 Stack Overflow 和文档的最新开发者技术问答,涵盖五个主题。 |
| WixQA | Test | HuggingFace | 基于 Wix 知识库的帮助中心支持问答。 |
| BrowseComp-Plus | Test | GitHub | 针对约 100K 份经人工验证的开放网络文档的高难度深度研究查询。 |
| Wands | Test | HuggingFace | 一个 Wayfair 产品搜索数据集,包含超过 42,000 条查询–商品相关性判断,标记为 Exact(精确匹配)、Partial(部分匹配)或 Irrelevant(不相关)。 |
我们根据文档中规定的格式,将数据集预处理为 MTRL 服务可识别的格式。此外,我们在每个数据集中保留 5% 的训练实例作为验证实例。
我们的主要指标是 nDCG@10(排名 10 处的归一化折损累计增益)。nDCG@10 是一种标准的信息检索指标,用于衡量前 10 个检索到的文档与理想排名的匹配程度。它奖励那些将高度相关文档放置在列表顶部附近的系统,其中得分 1.0 表示完美排名,0.0 表示未检索到任何相关文档。我们在 MTRL 中直接使用 nDCG@10 作为奖励函数。这是一种轨迹级奖励,即智能体完成其完整的多轮搜索后,奖励反映最终检索到的文档与真实标签的匹配程度。
当智能体达到最大轮数或单轮中的最大采样 token 数时,我们分配 -1 的奖励,以明确教导模型避免这些失败模式。这种基于惩罚的奖励设计能有效引导模型远离不良行为,而无需手工构建复杂的中间奖励。
MTRL 作业配置
Amazon SageMaker AI MTRL 的一大吸引力在于启动所需配置极少。我们仅修改三个超参数,其余所有设置均保持默认值。以下代码片段展示了如何使用 MultiTurnRLTrainer SDK 配置并启动训练作业:
from sagemaker.modules.train import MultiTurnRLTrainer
trainer = MultiTurnRLTrainer(
model_id="qwen3.6-27b",
agent_endpoint="<your-agent-endpoint>",
training_dataset_s3_uri="s3://amzn-s3-demo-bucket/datasets/train/",
validation_dataset_s3_uri="s3://amzn-s3-demo-bucket/datasets/validation/",
hyperparameters={
"max_epochs": 1,
"global_batch_size": 128,
"rollout_max_concurrency": 32,
},
output_s3_uri="s3://amzn-s3-demo-bucket/output/",
)
trainer.train()我们修改的关键超参数包括:
- max_epochs: 1 控制对训练数据的完整遍历次数。
- global_batch_size: 128 设置每个训练步骤的提示词数量。
- rollout_max_concurrency: 32 控制在轨迹收集期间并行运行的 rollout 数量。
这就是全部设置。通常需要 RL 专业知识才能决定的选项——算法、优势估计器、离策略陈旧性界限等——均使用默认值运行。从基础模型到下一节所示结果,仅需上述配置即可实现。
结果
MTRL 微调在四个保留基准测试中的三个上提升了搜索智能体的表现,并显著提高了其在所有基准上的可靠性。最大的增益出现在 BrowseComp-Plus(nDCG@10 提升 +23.7%)和 WixQA(+18.4%)上,Wands 上的增益较小,而 FreshStack 上则出现了轻微的性能回退。可靠性的提升是更为显著的结果。在 BrowseComp-Plus 上,失败率从 22.89% 降至 0.68%。这意味着智能体不仅学会了更好地进行搜索,还学会了在其轮次和 token 预算内完成任务。接下来的章节将详细介绍训练曲线和各基准的具体数值。
训练进展
下图展示了在整个训练过程中,训练实例和验证实例上的奖励(nDCG@10)。x 轴表示训练步数,y 轴显示 nDCG@10 分数。两条曲线分别追踪训练和验证奖励,两者均稳步上升后趋于平稳。MTRL 训练可能持续多天,且 MTRL 服务的默认时间限制为 24 小时,该限制可通过 CreateJob JSON schema 进行调整。如果作业因超时或基础设施错误而停止或失败,您可以利用 恢复支持 从之前的检查点继续训练。
图 1:整个训练过程中训练集和验证集上的 nDCG@10 奖励
该图绘制了训练集和验证集的 nDCG@10 随训练步数的变化曲线。随着微调的进行,两条曲线均稳步上升,并在训练结束时达到饱和,这表明进一步训练不会带来额外收益。
测试性能
下表比较了微调后的模型与原始 Qwen3.6-27B 在四个保留测试数据集上的表现。表中所有指标均基于我们在前述章节所列数据集上进行的评估运行计算得出。
列定义:
- Size 是数据集中的问题数量。
- nDCG@10 是标准的 归一化折扣累积增益。失败的任务其 nDCG@10 记为 0。
- Failure rate(失败率)是指智能体遇到错误(例如超出轮次限制或 token 预算)的问题百分比。
- Turns (avg)(平均轮次)是每个问题的平均交互轮次数。
| benchmark | size | model | ndcg@10 | fail_rate | turns |
|---|---|---|---|---|---|
| WixQA | 400 | Qwen3.6-27B | 0.5725 | 0.67% | 4.3 |
| WixQA | 400 | Qwen3.6-27B-finetune | 0.6781 | 0.17% | 4.5 |
| Wands | 147 | Qwen3.6-27B | 0.5762 | 0.00% | 2.2 |
| Wands | 147 | Qwen3.6-27B-finetune | 0.6112 | 0.00% | 2.9 |
| FreshStack | 672 | Qwen3.6-27B | 0.4112 | 0.20% | 3.1 |
| FreshStack | 672 | Qwen3.6-27B-finetune | 0.4089 | 0.05% | 2.8 |
| BrowseComp-Plus | 830 | Qwen3.6-27B | 0.5136 | 22.89% | 7.0 |
| BrowseComp-Plus | 830 | Qwen3.6-27B-finetune | 0.6354 | 0.68% | 6.3 |
结果表明,强化学习微调带来了显著差异:
- 搜索质量提升: 如上表所示,在 WixQA 上 nDCG@10 从 0.5725 提升至 0.6781(增长 +18.4%),在 Wands 上从 0.5762 提升至 0.6112(增长 +6%),在 BrowseComp-Plus 上从 0.5136 提升至 0.6354(增长 +23.7%)。仅在 FreshStack 上得分略有下降。
- 失败率降低: 对失败案例赋予 -1 的奖励非常有效。在 BrowseComp-Plus 上,失败率从 22.89% 降至仅 0.68%。
清理资源
如果你尝试此方法,请记得事后清理资源以避免持续产生费用:
- 如果 MTRL 训练任务仍在运行,请在 Amazon SageMaker AI 控制台中停止或删除该任务。
- 如果不再需要,请删除 Amazon S3 中的模型工件。
- 删除为评估而创建的任何已部署端点。
结论
在这篇文章中,我们分享了使用 Amazon SageMaker AI MTRL 通过强化学习微调基于 LLM 的搜索智能体的经验。只需最少的配置,微调后的模型在检索质量、失败率和轮次效率(每个问题的轮次更少)方面均显示出显著提升。
我们从 Amazon SageMaker AI MTRL 的使用经验中得出的关键要点:
- 低入门门槛: 默认配置即可良好运行,无需深厚的强化学习专业知识即可上手。
- 无服务器基础设施: 无需预置 GPU 或管理分布式训练集群。按 token 付费。
- 可恢复的训练: 长时训练任务可以拆分为多个作业执行。
- 直接优化: 你可以针对实际的任务指标进行训练,而非使用代理损失函数。
- 完全可观测性: 你可以在由 Amazon SageMaker AI 管理的 MLflow 中逐轮检查轨迹,以了解智能体学到了什么。
后续步骤
如果你希望将这种方法应用于自己的智能体,以下是一些有用的起点:
- 查阅 Amazon SageMaker AI MTRL 文档。
- 按照所需格式准备数据集。
- 准备你的智能体,并根据特定于任务的指标定义奖励函数。
- 从默认配置开始,根据我们的经验,这些配置效果很好。
- 评估并迭代。
