IBM ALTK-Evolve 发布 学习记忆助非前沿模型登顶客服基准

返回文章列表

ALTK-Evolve：学习式记忆如何在无需前沿模型的情况下，于 τ²-bench 客服任务排行榜上登顶

企业文章 发布于 2026 年 10 月 20 日 点赞 3

Ashwath Vaithinathan Aravindan ashwath-vaithina ibm-research Vatche Isahagian Vatche ibm-research Vinod Muthusamy vinodmut ibm-research Jayaram Radhakrishnan jayaramkr ibm-research Evelyn Duesterwald evduester ibm-research Gaodan Fang gaodan-fang ibm-research Punleuk Oum illeatmyhat ibm-research G Thomas gsthomasx ibm-research Michał Ulewicz Michal ibm-research Merve Unuvar mrvnvr ibm-research Ayhan Sebin ayhansebin ibm-research

ALTK-Evolve 利用 GPT-4.1 学习并应用一套行动指南（playbook），在无需更新模型权重的情况下，于客服智能体基准测试 τ²-bench 中超越了所有零售类条目。

学习式记忆助力基于 GPT-4.1 的基础 ReAct 智能体登顶榜首

使用 GPT-4.1——一款较旧的、非推理型模型——一个基础的客服智能体在 τ²-bench 零售赛道上达到了 67.5% 的 Pass^4 ——这意味着它在 全部四次 独立尝试中都成功解决了 67.5% 的任务。这一得分超过了我们在 2026 年 10 月 12 日排行榜快照中的所有零售类条目。该智能体运行在基准测试标准的 ReAct 框架之上，并将学习到的指导原则附加在其系统提示词中。

ALTK-Evolve 使用 GPT-4.1 构建该操作手册。 它分析智能体在训练任务中的尝试，并利用模型将成功与失败提炼为简短的行为规则：如何验证客户身份、确认交易或处理退货。随后，这些指南会被添加到智能体的提示词中，用于后续对话。同一模型既负责指南提取，也驱动智能体运行；无需更新权重或进行人工标注。

我们 之前的工作 已在编码智能体上验证了这一方法。在此，我们在客户服务领域对其进行测试，该领域的成功需要遵循领域策略、理解客户请求并执行正确的工具操作。

τ²-bench 测试受策略约束的客户服务

τ²-bench（由 Sierra 提供）衡量智能体在真实约束下处理 客户服务对话 的能力。每个任务将智能体与一个具有特定目标的 LLM 模拟 客户 配对，配备一组 领域工具（查询订单、发放退款、重新预订航班），以及一份智能体必须遵循的书面 策略文档。智能体必须获取正确的细节信息，严格遵守策略，并采取正确——通常不可逆——的操作；只有当最终数据库状态与预期结果匹配时，任务才被视为解决，这是一种严格的二元奖励机制。我们使用其两个客户服务领域：零售 和 航空。

我们运行 τ²-bench 自带的基于两阶段 THINK → ACT 循环的基础 ReAct 智能体实现，使用 gpt-4.1 作为智能体模型，gpt-5.5 作为客户模拟器模型；每个任务进行 4 次试验。我们做出的唯一改动 是将一段学习到的指南附加到系统提示词末尾——其他所有内容（策略、工具、脚手架）均保持 τ²-bench 的原生配置。具体而言，学习到的指南以纯 Markdown 列表的形式追加在领域策略之后：

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## 从过往任务尝试中总结出的准则（请严格遵循）：
- 在执行任何与订单相关的操作前，先对用户进行身份验证。如果无法获取电子邮件，请使用 `find_user_id_by_name_zip` API，通过全名和邮政编码来核实用户身份。
- 始终通过清晰、结构化的摘要确认所有拟议的变更（修改、取消、退货、换货），并在执行任何更新数据库的操作之前，要求用户明确批准。
- 在处理退货或换货时，主动提供包含明细项的退款说明并澄清退款时间——不要等用户询问才告知。
- 每步只执行一个动作：切勿在同一轮对话中将工具调用与面向用户的消息结合使用，并需等待工具返回结果后再进行回复。
- 在查询用户信息之前，解析并清理其姓名——例如将组合的用户名如 `daiki_johnson_9523` 拆分为名/姓——如果在几次查询失败后，请明确指出所需的准确格式。
…

我们使用 gpt-4.1（即驱动该智能体的同一模型）从 τ²-bench 训练集任务的智能体轨迹中提取准则，然后在保留的测试集上原样应用这些准则。

准则提升了能力与可靠性

在之前的文章中，我们讨论了不同模型/任务需要不同程度的指导。与此理念一致，我们也评估了提供给模型的不同数量的准则。

每条准则都带有一个 支持度（support） 计数——即该准则从中提取出的不同训练任务的数量，因此较高的支持度意味着该规则在更多任务中具有泛化性，而非仅适用于个别情况。我们比较了三种配置：baseline（无准则）、sup3（仅保留支持度 ≥ 3 的准则——一个小型的高置信度核心集）以及 lossless（保留整合后的所有准则，即支持度 ≥ 1）。

表 1. 各领域的准则配置及保留的准则数量。

我们跟踪的指标。 每个任务尝试 4 次，我们从两个角度解读这些试验结果：

• 平均准确率（Mean Accuracy） —— 4 次试验中的平均成功率。这是能力维度：智能体在多大程度上能正确完成任务？
• Pass^4 —— 在所有 4 次试验中均通过的任务百分比。该指标衡量的是可靠性维度，也是 τ²-bench 排行榜所报告的指标。这一点至关重要，因为如果一个客服智能体在 4 次中有 3 次成功解决了退款问题，它仍然会让四分之一的真实客户失望——Pass^4 考察的是你是否能每次都信任该智能体，而不仅仅是看平均水平。

图 1. 使用 gpt-4.1 的智能体在保留的零售和航空任务上，每个任务进行四次试验的平均准确率和 Pass^4。

智能体模型：gpt-4.1（用户模拟器：gpt-5.5）。

表 2. 使用 gpt-4.1 的智能体在保留任务上的性能，每个任务进行四次试验。括号内显示相对于基线的百分点变化。

两个领域的平均准确率均有所提升——零售 +4.4 个百分点（从 78.1 升至 82.5），航空 +7.5 个百分点（从 57.5 升至 65.0）。可靠性的提升更为显著：严格的 Pass^4 在零售领域提升了 +10 个百分点（从 57.5 升至 67.5），在航空领域也提升了 +10 个百分点（从 35.0 升至 45.0）。这些增益源于更明智的调用决策，而非更长的对话过程——我们在下文 更好的性能消耗更多 token，而非更多轮次 中直接分析了对话长度。

最佳指导量取决于具体领域

这两个领域在“多少指导才有效”上存在分歧。在零售领域，各项指标均显示越多越好——小型 sup3 核心集仅在准确率上略胜基线，而要实现真正的性能跃升，则需要使用完整的无损（lossless）集合。而在航空领域，情况在可靠性维度发生了反转：无损集合在准确率上领先（65% vs 60%），但紧凑的 sup3 核心集（14 条指南）反而更可靠，其 Pass^4 达到 45%，高于无损集合的 40%。这呼应了此前关于交付是一个可调参数而非固定常数的发现：支持计数（support count）是一个值得按领域调整的旋钮，而不是一个需要硬编码的值。

更好的性能消耗更多 Token，而非更多轮次

指南并非免费，但其成本落在意料之中的地方——即提示词输入 Token，而不是导致对话变得更长、更迂回：

图 2. 完整基础划分下，按领域和指南配置划分的每次会话 LLM 总成本。

表 3. 完整基础划分下，四次试验中每次会话的 LLM 总成本（包括代理和用户模拟器）。数值越低越好。

代理是否通过说得更久来达成目标？为了清晰地回答这个问题，我们进行同等条件比较：选取在基线和指南变体下均被解决的任务运行实例——场景和种子完全相同，构成一个真正的“同一任务，正确完成”集合——并统计两侧的助手轮次数。

表 4. 测试划分下，在两种设置中均被解决的匹配运行实例的每次会话助手轮次数（汇总四次试验）。

智能体并没有变得更啰嗦——在共享测试集上，准则使对话略微变短：无损（lossless）方法在两个领域都减少了约 0.3–0.4 轮对话（零售领域从 10.59 降至 10.16，航空领域从 9.15 降至 8.82），且没有任何变体会延长对话。这一点的重要性超越了成本考量：每一轮对话都是一次串行的 LLM 往返调用，因此更少的轮数意味着更低的端到端延迟——即更快的任务完成时间，这不仅为客户节省了成本，更提升了体验。唯一的实际代价体现在输入侧——每次 LLM 调用都要携带更大的系统提示词：零售领域包含 292 条准则的提示词将单次对话成本从约 $0.084 推高至约$0.139，而航空领域较小的操作手册则成本更低。在生产环境中，这一成本在很大程度上可以通过 Prompt Caching（提示词缓存） 来回收，因为准则块在每次调用中都是完全相同的。

因此，这是一笔划算的交易：以略高的输入成本（在实际应用中大部分可通过缓存抵消）为代价，智能体同时实现了更高的准确率、更高的可靠性以及更短的完成时间——这并非通常那种“用质量换延迟”的权衡，而是三项指标同时向好的方向移动。

学习到的准则也能提升使用前沿模型的智能体表现

到目前为止，我们一直使用的是较旧的、非推理型模型 gpt-4.1。一个合理的质疑是：对于使用前沿模型的智能体而言，学习到的准则可能带来的增益有限；也许它们只是弥补了较弱模型的短板。为了直接验证这一点，我们在航空领域重新运行了实验，智能体和准则提取均使用 gpt-5.5，基于相同的 τ²-bench ReAct 脚手架，并从智能体自身的运行结果中重新挖掘准则。随着模型的更换，有一个细节发生了变化：在此设置下提取的所有准则均未达到支持度 ≥ 3（最高仅为支持度 2），因此这里的高支持度核心集是 sup2 而非 sup3。

表 5. gpt-5.5 智能体在留出集上的航空领域性能（每个任务进行四次试验）。

学到的准则同样优化了这一配置。在相同的留出测试任务上，将其追加到提示词中使准确率提升了 10 个百分点（从 72.5 提升至 82.5），严格的 Pass^4 指标提升了 15 个百分点（从 55.0 提升至 70.0）——这一更大的可靠性增益超过了我们在这些相同任务上使用 gpt-4.1 时观察到的提升幅度（+10 个百分点），且起始基线更高。围绕模型学习准则可以在即使起点更强的情况下进一步提升智能体性能。此外，当基线配置的可靠性在不同次运行间波动时，无损配置完全复现了结果——其带来的增益是稳定可靠的，而非偶然所得。

ALTK-Evolve 在排行榜对比中位居榜首

根据 τ²-bench 的要求，提交结果在完整基础数据集（train ∪ test）上进行评分，并以 Pass^4 报告。由于这涵盖了整个任务集而非仅留出测试集，因此这些数据与上述报告的测试任务数据有所不同。这正是实际成效显现之处——基于提示词的记忆机制将使用各基础模型的智能体带入或超越当前前沿公司的水平：

• 零售领域：第 1 名。 在基础数据集上，带有学习准则的智能体达到了 Pass^4 = 67.5%，领先于所有前沿模型，同时也超越了 RAFT-30B-A3B（61.4%），后者是一个在合成 τ²-bench 零售数据上微调过的模型。使用标准的 gpt-4.1 和附加在提示词中的策略手册，该系统比这个微调系统高出 +6.1 个百分点。
• 航空领域：使用 gpt-5.5 排名第 1，使用 gpt-4.1 排名第 8 对照已发布的排行榜，紧凑的 sup3 核心赋予使用 gpt-4.1 的智能体 Pass^4 = 44% 的成绩——位列第 8，击败了 GPT-5.2（无推理模式）并几乎追平 Claude Sonnet 4.5。换用更强的基础模型后，同样的方法直接登顶：使用 gpt-5.5 的智能体达到 82.0%，超越了所有前沿条目（66–72%）。

图 3. ALTK-Evolve 运行结果与 2026 年 10 月 12 日 τ²-bench 排行榜快照之间的 Pass^4 对比。

两个领域中的共同信息是：围绕模型制定的学习指南在不同基座模型上均有效——即将使用较旧的非推理模型的智能体引入前沿公司的零售业务，以及将使用前沿模型的智能体提升至航空业的最优水平。

智能体无需权重更新即可实现改进

在基准测试上对模型进行微调成本高昂、脆弱且无法迁移到下一个领域。在此，ALTK-Evolve 通过仅从智能体自身的运行中自动提取的提示级指南（无需人工标注，且无测试集数据泄露），在两个领域中改进了基于股票模型的股票智能体——并在零售领域达到或超越了经过微调的系统。

链接：

• 往期文章