Candidly 基于 LangSmith 构建状态感知 Agent:从事后评估转向实时对话引导
Candidly 团队利用 LangSmith 平台构建了具备“状态感知”能力的智能体框架,实现了从传统的事后结果评估向对话过程中的实时引导转变。该方案通过读取部分执行轨迹(Partial Trace)来推断用户意图与当前交互阶段,从而动态调整响应策略以优化任务完成率。这一实践展示了如何利用可观测性工具增强 LLM 代理在复杂多轮对话中的决策能力。
报道正文
本文目录10 个章节

Ben LevinePatrick HendershottJune 29, 202613min返回博客创建智能体创建智能体
本文由 Candidly 公司的 Ben Levine 和 Patrick Hendershott 客座撰写
从事后评估到实时引导
大多数对话助手都是事后评判的,依据是对话如何结束。用户得到答案了吗?他们完成任务了吗?他们是否回访、点击链接或采取下一步行动?
这些标签定义了优化目标,但只能在结束时观察到,而助手却是逐轮进行交互的。为了在对话过程中优化问题解决率,Agent Harness(智能体框架)需要一种逐轮视角,以了解交互当前所处的状态,以及哪些响应策略可以推动其向前发展。我们通过读取部分执行轨迹(partial trace)、推断用户当前状态,并根据过去类似对话的变化趋势来选择响应特征,从而构建这一视角。
Candidly 帮助人们在债务偿还、储蓄、退休规划、福利和教育费用等重大财务决策上做出明智选择。Cait 是我们的 AI 财务规划师——一个对话智能体,帮助用户比较储蓄策略、还款选项、理解截止日期、评估权衡取舍,并决定下一步该做什么。例如:
- “我如何在为未来储蓄与偿还债务之间取得平衡?”
- “我如何在我的预算中腾出更多空间?在不牺牲退休计划的情况下,我能负担得起孩子的大学学费吗?”
- “我应该暂停我的 401(k) 供款以更快地还清学生贷款吗?”
本文基于一篇正式研究论文以及对生产环境中 Cait 对话长达数月的分析。我们的目标并非孤立地产出研究成果,而是将对话分析转化为 Cait 的智能体框架能够实际实施的策略界面。我们的第一个问题是回顾性的:在一段 Cait 对话结束后,我们能否判断它是否解决了用户的问题,还是被用户放弃了?
我们能预测对话将如何结束吗?
为了在规模化场景下评估对话层面的结果,我们基于生产环境中的 Cait 轨迹构建了一个混合标注流水线,并在 LangSmith 中跟踪生成的标签。确定性规则处理了明确的案例,例如用户明确表达不满、Cait 发出首条消息后无回复,或产品后续行为(如关联账户或启动储蓄计划)。
对于模糊案例,则交由 LLM-as-judge 评估器处理,并根据对话模式进行路由。每个判定结果都会作为反馈附加到对应的线程上。我们将该流水线与人工标注的 LangSmith 数据集进行了校准,达到了 92.3% 的一致性。
随后,我们训练了一个模型,利用直接从轨迹中提取的特征来预测这些标签。以下是部分特征示例,分为“Cait 的行为”和“用户的响应”两类:
Cait 的行为
- 问答对齐度(Q/A alignment):Cait 的回复与其前一条用户提示之间的词汇重叠程度。在我们的数据中,高对齐度是问题解决的最强预测因子之一;而低对齐度则是失败状态的显著特征。
- 话题连续性(Topic continuity):Cait 自身回复的语义持久性。对于第 t 轮的 Cait 回复,它衡量的是 Cait 当前回复 aₜ 与上一轮回复 aₜ₋₁ 之间的语义相似度。整个轨迹中的连续性和连贯性强烈预示着问题能否得到解决。
用户的响应
- 消息长度:较长的消息预示问题将得到解决;简短或仅含一个单词的回复则预示用户即将流失。
- 大写字母占比(Caps ratio):用户消息中大写字母的占比(这是一种预示放弃行为的不满信号)。
我们所有的特征在运行时都是轻量级且确定性的,每轮对话仅需少量字符串和嵌入操作,计算耗时仅为毫秒级。
基于这些特征训练的梯度提升模型,能够以 0.90 AUC 区分已解决和被放弃的对话(0.5 为随机猜测,1.0 为完美分类)。这表明从轨迹信号中可以预测出问题的解决与否。
下一步是将这些信号转化为 Cait 在对话结束前可用的形式:即结合可调控的响应特征(这些特征能改变状态)进行逐轮状态推断,并在每一轮更新。本文其余部分将描述我们如何将这一闭环集成到 Cait 的智能体框架(agent harness)中,涵盖从轨迹到状态、从状态到策略、以及从策略到实验的全过程。
将轨迹转化为状态模型
我们关注的是对用户、智能体以及对话上下文之间复杂交互的建模。预测结果表明,对话结果可以从对话轨迹中学习得到。为了让这一信号在 Cait 与用户交流的过程中发挥实际作用,我们需要一个能够描述对话如何展开的模型,具体包括:可观测信号如何在多轮对话中累积、哪些模式倾向于重复出现,以及 Cait 的哪些行为特征与推动或阻碍问题解决相关。我们从对话轨迹中以确定性方式并在毫秒级时间内计算这些特征,然后将它们连同用户消息、Cait 的回复、推断出的状态以及(在对话结束后)最终结果一起存储在 LangSmith 中。
一个有用的模型必须做到以下三点:
- 将对话表示为一条有序的轨迹,以便我们进行解读和采取行动。
- 将用户侧信号与智能体侧特征分离开来,因为二者扮演着不同的角色。用户行为揭示了对话当前所处的状态,而智能体行为则是系统可以调控的手段。
- 从数据本身学习信号到状态的映射关系,从而使状态反映实际出现的模式,而非预先设定的类别。
具备上述特性的模型不仅能提供回顾性的评分,还能读取部分对话轨迹,总结对话当前似乎处于何种状态,并将该读数与 Cait 可控的响应特征关联起来。这正是使模型具备操作性的关键所在;它能在结果尚未确定之前,生成可供智能体使用的信息。
输入输出隐马尔可夫模型(IO-HMM)满足以上所有三项要求。相比之下,RNN 或轨迹 Transformer 等更复杂的替代方案则牺牲了可解释性以及清晰的实时干预路径。
IO-HMM 内部机制

IO-HMM 将每一轮对话分解为两个部分:
- 用户侧信号作为发射概率(emissions)。它们是用于推断用户当前参与状态的可观测行为。
- 智能体侧特征作为转移输入(transition inputs)。它们是决定对话下一步走向的可控响应特性。
该模型基于对话当前所处状态以及智能体刚刚做出的响应,来估计对话接下来可能的发展走向。
该模型通过期望最大化(EM)算法在数千次对话上进行拟合。拟合过程同时学习两件事:1.) 参与度状态本身(跨对话的用户行为中反复出现的模式);2.) 转移函数(智能体侧特征如何与状态间的移动相关联)。我们最终确定了四个状态,以实现最佳的留出集拟合效果、BIC 指标以及稳定的可解释性。
较小的模型会混淆不同的参与度模式,而五状态模型则无法恢复出一致且可用的机制。
关键的设计选择在于分离。用户行为用于读取对话的状态,智能体行为用于估计状态之间的转移。这种分离将追踪记录从“发生了什么”的记录转变为“驱动对话的因素是什么”的模型。
四种参与度状态,以及为何平均值会掩盖它们
模型恢复了四种具有可解释性的参与度状态:
| 状态 | 回合占比 | 表现特征 | 结果特征 |
|---|---|---|---|
| Engaged(高参与) | 53% | 适度、具体的来回互动;用户需求与 Cait 的回答高度对齐 | 解决率最高 |
| Detailed(详细型) | 7% | 长篇幅、结构化的用户消息,包含实质性的财务背景信息 | 解决率高 |
| Guided(引导型) | 17% | 较短的用户回复;Cait 承担更多的解释任务 | 解决率高;对话时长最长 |
| Disengaging(脱离型) | 23% | 简短的用户消息;用户语言与 Cait 回答之间对齐度弱 | 解决率最低 |
这些状态在行为和结果上均存在差异。它们对应于用户是否解决了问题、继续探索产品或放弃对话。解决率从最高参与状态下的约 78% 到脱离状态下的约 30% 不等。
这些状态对相同的智能体行为也有不同的反应。保持话题连续性可以让高参与用户保持在正轨上,但可能会使脱离用户陷入解决率最低的状态。推送视觉工件可以推动详细型用户前进,但会使脱离用户的恢复变得更加困难。这正是对话级平均值所掩盖的内容。如果将所有对话中的这种行为汇总起来,其在一种状态下的收益会抵消在另一种状态下的损失,从而导致净效应成为有偏估计。一旦我们以状态为条件进行区分,策略信号就变得可见了。
这使模型转化为一个策略曲面……一张从对话当前状态映射到最有可能将其推向更优状态的响应变化的地图。例如,添加行动号召(call to action)可以防止“详细型”(Detailed)对话滑向“脱离型”(Disengaging),而镜像用户的虚词模式则有助于“脱离型”对话恢复至“投入型”(Engaged)。

我们希望提出的策略能够最大化对话内解决率(in-conversation resolution)。鉴于不同状态在解决率上的巨大差异,策略直接源于目标:让对话保持在高解决率状态,并避免进入低解决率状态。该模型为我们提供了实现这一目标的策略,将处于“脱离型”状态的用户轮次占比减半(从 23% 降至 11%),并将大部分流量引导至“投入型”状态(从 53% 增至 64%)。
将策略接入执行框架(Harness)
拟合后的模型尚不是策略。要使其发挥作用,模型必须在执行框架内运行,其驱动的每一次变更都必须被记录,且其效果必须在上线前经过验证、上线后得到测量。
请求路径中的状态推断。 模型在每一轮对话中运行,速度足以影响下一个响应。我们冻结拟合参数,根据追踪数据(trace)中已有的信号计算用户当前状态,并在单次回复的延迟预算内将该状态作为元数据写回追踪数据。
针对每种状态的版本化变更。 必须有一种机制将推断出的状态转化为不同的响应,无论是提示词插入、工具选择还是不同的模板。每个变更都作为 LangSmith 中的一个版本化策略机制存在,触发时的版本号会被记录在该轮对话上,因此我们总能知道应用了哪项变更。
离线验证。 每个感知状态的策略变更都会动态地向 Cait 的提示词指令追加内容,以引导用户进入更好的状态。在发布之前,我们在保留的 LangSmith 数据集上重放该变更,在新提示词下重新生成 Cait 的响应,并使用我们的评估器进行评分,以确认它产生了预期的状态转移,同时不干扰响应的其余部分。只有通过的提示词才会成为实验组(experiment arm)。
随机化分配。 Cait 的响应并非随机分配。它们已经取决于用户消息和当前对话上下文,因此模型可以学习哪些状态需要哪些响应,而不是某个响应是否改变了轨迹走向。随机实验提供了缺失的外生变异(exogenous variation)。每个用户被分配到现有行为或状态感知策略中,且分配保持稳定并在每条 trace 上打上标签。LangSmith 允许我们监控这两个分支的运行情况,从而在完整结果读取之前,观察状态占用率和解决率的差异。
整个循环的一条记录。 推断出的状态、提示词版本、实验分支、结果、解决方案以及产品激活都位于同一条 trace 上。
LangSmith 闭合了循环:trace 转化为具备状态感知的评估数据,评估数据转化为提示词-策略实验,而生产环境监控则告诉我们策略是否改变了轨迹。
构建更优秀的 Agent:将评估作为控制信号
我们的模型为 agent 提供了一些事后成功评分永远无法提供的东西:对交互所处位置的回合级(turn-level)读取,且在 agent 仍能采取行动时可用,从而将评估从“打分”转变为“控制信号”。
这一切都不局限于金融对话,甚至不局限于对话本身。该方案需要三个要素:1.) 仅在最后才能观察到的结果;2.) 可从 trace 计算得出的回合级信号;3.) agent 可控的行为。任何具有目标的多轮 agent 都具备这三点。
以编码 agent 为例。其结果——合并的 PR、通过的测试套件——在最后才出现,但 trace 中包含每一回合潜在状态的体现:每次补丁后测试以新方式失败还是始终以相同方式失败,编辑是否在相同文件间打转而未缩小问题范围,审查评论是否变得更短且更具纠正性。处于不良状态的编码会话中的 agent 应该停止、重新规划或提出问题,而不是推送另一个补丁。如今大多数编码 agent 无论处于何种状态,都在运行相同的循环。
管理子代理的编排器同样具备这三个要素。工作进程的汇报只是一个信号,而且往往充满噪声;工作的形态本身更能说明问题。*工具调用是否不断涌现新信息?计划是在收窄还是扩张?*能够识别收敛趋势的编排器可以尽早干预——缩小任务范围、更换工具、终止运行——而不是依赖轮次上限和 token 预算,后者可能会在即将完成时停止运行,或者让注定失败的任务耗尽整个配额。
这里对评估(evals)本身也有启示意义。在我们的数据中,相同的代理行为在某些状态下有益,而在另一些状态下有害。如果将这些效应汇总,它们会相互抵消,导致信号消失。如果我们只衡量某种行为“平均而言”是否有效,就会错过更有用的问题:它在什么时候有帮助,又在什么时候有害?
代理所承担的任务视野越长,其行动与最终结果之间的差距就越大——代理也就越需要在中间阶段读取某些信息。状态(State)是更精确地连接这两个视角的层级。最终结果定义了我们想要什么,而轮次级别的状态估计则为代理提供了在结果实现之前可用的信息。如果在每条轨迹的每一轮都拥有这样的状态估计,评估就成为运营闭环的一部分:轨迹记录发生了什么,模型读取交互所处的位置,策略选择响应,下一条轨迹则显示该选择是否将对话引向了正确的方向。
关于 Candidly
Candidly 是处于行业领先地位的 AI 原生技术平台,通过雇主、金融机构和工作场所服务提供商,为员工提供全面的财务指导。公司成立于 2016 年,其使命是通过全面、整体且个性化的数字体验,帮助勤劳的美国人摆脱债务,迈向健康,并最终实现财富自由。通过这些合作伙伴关系,Candidly 有望服务美国二分之一的劳动者。
关于作者
Patrick Hendershott 是 Candidly 的高级数据科学家,他构建统计和机器学习模型以理解用户行为并提升 AI 产品性能。他专注于将测量、实验和建模应用于 AI 工程,帮助 Cait 从真实的用户交互中学习,并将这些洞察转化为更好的对话系统。
Ben Levine 是 Candidly 的首席产品官(CPO),也是该公司 AI 财务规划师 Cait 的架构师。他的工作将产品领导力与在机器学习、实验设计和计量经济学方面的深厚技术功底相结合。他致力于在产品与数学技术的交汇点构建解决方案,最感兴趣的是将复杂的建模问题转化为能够引导用户实现更优财务结果的智能体(Agent)。
洞察你的 Agent 究竟在做什么
LangSmith 是我们的 Agent 工程平台,帮助开发者调试每一个 Agent 决策、评估变更,并实现一键部署。