LangSmith Engine 升级:智能体问题检测性能提升 2 倍并集成 Slack 与 Linear 工作流
LangChain 发布 LangSmith Engine 重大更新,其内部基准测试显示智能体问题识别性能提升超过 2 倍,行业标准修复能力提升 25%。新版本深度集成 Slack 告警与 Linear 工单系统,并新增 Reduced Analysis 模式以优化成本,旨在解决生产环境中海量 Trace 的调试难题。
报道正文
本文目录8 个章节

Trammell SaltzgaberBen TannyhillAugust 25, 20265min返回博客创建智能体创建智能体
核心要点
- Engine 性能提升超过 2 倍: Engine 在识别智能体问题方面的 内部基准测试 中表现提升了 2 倍以上,并在修复问题的行业标准 基准测试 中表现提升了 25%。
- Engine 无缝融入工作流: 通过 Slack 接收新问题的警报,直接在 Engine 中于 Linear 创建工单,并可在自托管的 LangSmith 部署中使用 Engine。
- Engine 提供更灵活的成本控制: 精简分析模式(Reduced Analysis mode)让用户在继续使用 Engine 识别智能体问题的同时,拥有更强的成本控制权。
优化智能体是一项艰巨的工作。生产环境中的智能体可能会生成数百万条追踪记录(traces),逐一扫描这些记录以查找错误、确定根本原因并为每个问题编写修复方案,在该规模下是不切实际的。这就是我们构建 LangSmith Engine 的原因——它是平台内置的智能体,能够自主分析生产环境的追踪记录、发现问题、提出修复方案并监控回归情况。
随着最新版本的发布,Engine 在 内部基准测试 中识别智能体追踪记录里关键问题的性能提升了一倍以上,并且在 行业标准基准测试 中为提示词和代码编写修复方案的能力提升了 25%。
LangSmith Engine 的功能
Engine 实现了 智能体开发生命周期 (ADLC) 中手动流程的自动化。它是一个平台内置的 Deep Agent,通过分析 LangSmith 中的追踪记录,帮助工程师快速从智能体故障过渡到修复阶段。
它能识别智能体追踪记录中的问题,将相关的发生情况归类在一起,并提供解决问题所需的关键工件:
- 有证据支撑的诊断:展示问题所在的具体 agent 运行记录、事件时间线(包括重复发生的情况)以及根本原因
- 提出的修复方案:一个 prompt 或代码变更,以及一个可供你审阅的、随时可部署的 PR
- 真实基准示例:将失败的运行记录格式化为数据集示例,以便在上线前离线验证修复效果
- 持续监控:针对特定问题的持续监控,帮助你捕捉并解决回归问题
在实践中,这意味着你可以借助 LangSmith 推进 ADLC(Agent Development Life Cycle,智能体开发生命周期),而 Engine 则有助于加速每个步骤。

我们如何改进 Engine
Engine 于五月发布。自那时以来,Engine 已扫描超过 6000 万条 traces,在客户的 agents 中发现了超过 20,000 个问题,节省了数万小时的工程工作时间。
我们正在持续提升 Engine 的性能,并通过多个内部基准来衡量其表现,这些基准评估了 Engine 工作流的不同组件。其中包括 IssueBench,用于评估 Engine 在识别和分组 traces 中的问题方面的能力;以及另一个用于评估 Engine 所提修复方案有效性的基准。
自五月发布以来,Engine 的性能有了显著提升。它在 IssueBench 上的得分提高了一倍以上,并且在 Terminal-Bench 等公开基准测试中,其修复方案的得分提高了 25%。这意味着 Engine 现在能够:
- 呈现更高信噪比的问题
- 在 agent 运行中检测到更多问题
- 提出更有效的修复方案
这些改进共同帮助用户专注于最具影响力的问题,并以比以往更快的速度解决它们。
Engine 的其他新功能
我们还发布了新功能,帮助客户在工作流程中使用 Engine,并更有效地对 Engine 发现的问题进行分诊。
支持自托管部署:Engine 现已面向自托管客户提供,在满足企业安全和合规要求的同时,加速 agent 的改进。Engine 的编排运行在客户的 VPC 内,并向 LangSmith Intelligence 发送请求——这是我们提供的零数据保留托管服务,利用专门训练的模型提供托管推理。
生态系统集成: Engine 现在能更好地融入团队在管理生产环境中的 Agent 问题时所使用的工具和流程。
- Slack: 通过 Slack 通知 Agent 工程师 Engine 检测到的问题,以便他们快速开始调查。
- Linear: 自动为 Engine 发现的问题创建 Linear issue,从而更轻松地与工程待办事项列表中的其他任务一起进行优先级排序和跟踪修复进度。
减少分析量(Reduced Analysis): “减少分析”模式允许团队使用 Engine 扫描更少的 trace。这有助于对成本敏感的用户在继续使用 Engine 查找问题的同时降低成本。
Issue 卫生管理(Issue Hygiene): Engine 会自动关闭那些在 Agent trace 中不再出现的陈旧 issue,使工程师的故障排查精力集中在活跃且影响重大的问题上。
更强的 Trace 集成: Engine 会指向 LangSmith trace 中出现特定问题的具体位置,帮助用户在着手修复之前验证 Engine 的发现。
在生产环境中的实际表现
客户已经在使用 Engine 来监控生产环境中的 Agent,发现反复出现的失败案例,并加速从检测到分诊的流程。
“Engine 将可观测性和分诊整合到了一个平台中。我对它的根因诊断质量以及它起草的修复建议印象深刻。它极大地缩短了我们的检测时间和分诊时间,这意味着我们花在翻查 trace 上的时间更少,从行为异常到部署修复的路径也短得多。” — Nancy Jin, AI Engineer @ Campfire
Engine 的未来发展方向
我们构建 Engine 的首要目标是发现问题并进行诊断,因为这是生命周期中最难大规模手动完成的环节。我们接下来的重点是验证:
自动化验证(Automated Verification): Engine 将在你的数据集上运行其提出的修复方案,并将结果连同相应的 issue 一起报告,这样你在决定发布更改之前就能看到该更改是否有效。
Engine 生成的数据集(Engine-Generated Datasets): Engine 将从你的 Agent 的 trace 和 prompt 中创建评估数据集,帮助你快速测试 Agent 的行为,而无需承担自行构建数据集的负担。它还将支持为没有现有 trace 的 Agent 创建数据集。
入门指南
Engine 已面向所有 LangSmith Plus 和 Enterprise 计划提供 SaaS 和自托管部署选项。定价详情请点击此处查看。
如果你使用的是 Plus 套餐,只需在 LangSmith 中点击几下即可 启用 Engine。
如果你使用的是 Enterprise 套餐,请联系你的客户团队以开始使用。
初次接触 LangSmith?立即通过 注册 或联系 我们的销售团队 开始体验。
洞察 Agent 的真实行为
LangSmith 是我们的 Agent 工程平台,帮助开发者调试每一个 Agent 决策、评估变更,并实现一键部署。