Replit Agent 深度集成 LangSmith:复杂工作流调试与可观测性实践案例
Replit 在其拥有数千万用户的 AI 编码平台中,利用 LangSmith 对 Replit Agent 的复杂并行工作流进行深度可观测性监控。该合作旨在解决高自由度智能体在调试棘手问题时的黑盒难题,并推动了 LangSmith 功能边界的扩展。这是一则典型的厂商联合营销案例,侧重于展示工具在特定场景下的应用价值而非通用技术突破。
报道正文
本文目录5 个章节
LangChain 团队 2024年9月26日 · 4分钟阅读 返回博客 创建智能体 创建智能体
Replit 处于 AI 创新的前沿,其平台简化了超过 3000 万开发者的代码编写、运行和协作流程。他们最近发布了 Replit Agent,由于人们可以轻松使用该工具创建出令人惊叹的应用,该工具迅速走红。
在幕后,Replit Agent 拥有复杂的工作流,支持高度定制化的智能体工作流,具备高度的控制能力和并行执行能力。通过使用 LangSmith,Replit 对其智能体交互获得了深入的可见性,从而能够调试棘手的问题。
Replit Agent 所需的复杂性也推动了 LangSmith 的边界。LangChain 和 Replit 团队紧密合作,为 LangSmith 添加了新功能,以满足他们的 LLM 可观测性需求。具体而言,我们在以下三个主要领域进行了创新:
- 提升大型追踪(traces)的性能和扩展性
- 在追踪内部进行搜索和过滤的能力
- 线程视图(Thread view),以支持人在回路(human-in-the-loop)工作流
提升大型追踪的性能和扩展性
大多数其他 LLMOps 解决方案仅监控对 LLM 提供商的单个 API 请求,提供的只是单次 LLM 调用的有限视角。相比之下,LangSmith 从第一天起就专注于追踪 LLM 应用的整个执行流程,以提供更全面的上下文。
对于智能体而言,追踪至关重要,因为它们具有复杂的特性。它能捕获多个 LLM 调用以及其他步骤(如检索、运行代码等)。这为你提供了细粒度的可见性,包括每个步骤的输入和输出,从而帮助你理解智能体的决策过程。
Replit Agent 是高级追踪需求的典型例子。他们的智能体工具不仅仅局限于审查和编写代码,还执行更广泛的功能——包括规划、创建开发环境、安装依赖项以及为用户部署应用程序。
因此,Replit 的追踪数据(traces)规模非常庞大——涉及数百个步骤。这给数据的摄取以及以直观有意义的方式展示这些数据带来了重大挑战。
为了解决这一问题,LangChain 团队优化了其数据摄取流程,以高效处理和存储大量的追踪数据。同时,他们还改进了 LangSmith 的前端渲染功能,使其能够无缝显示长时间运行的智能体追踪记录。

在追踪内部进行搜索和筛选以精准定位问题
LangSmith 一直支持跨追踪(between traces)搜索,允许用户基于事件或全文搜索,在数十万条追踪中查找单条特定记录。但随着 Replit Agent 的追踪变得越来越长,Replit 团队需要在追踪内部(within traces)搜索特定事件(通常是 Alpha 测试者报告的问题)。这就要求增强现有的搜索能力。
作为响应,LangSmith 新增了一种搜索模式——即在追踪内部进行搜索。用户无需再在庞大的追踪记录中逐次调用、反复筛选和滚动,而是可以直接根据关注的标准进行过滤(例如,运行输入或输出中的关键词)。这大大缩短了 Replit 调试追踪内智能体步骤所需的时间。
线程视图以支持人机协同工作流
Replit Agent 的一个关键差异化优势在于其对“人在回路”(human-in-the-loop)工作流的重视。Replit Agent 旨在成为一个让 AI 智能体与人类开发者有效协作的工具,人类开发者可以根据需要介入并编辑、修正智能体的执行轨迹。
由于设有分别负责管理、编辑和验证生成代码等不同角色的独立智能体,Replit 的智能体与用户持续交互——通常跨越较长时间,包含多轮对话。然而,监控这些对话流程往往很困难,因为每个用户会话都会生成彼此分离的追踪记录。
为解决这一问题,LangSmith 的线程视图(thread view)帮助将来自多个相关线程(即同一对话)的追踪记录整合在一起。这提供了多轮对话中所有智能体-用户交互的逻辑视图,帮助 Replit 更好地:1) 发现用户卡住时的瓶颈;2) 精准定位需要人工干预的环节。
结论
Replit 正借助 LangSmith 强大的可观测性功能,拓展 AI Agent 监控的前沿边界。通过降低加载冗长、繁重追踪数据的工作量,Replit 团队显著加快了构建和扩展复杂 Agent 的进程。凭借更快的调试速度、更清晰的追踪可见性以及更优的并行任务处理能力,Replit 正在为 AI 驱动的开发树立新标准。
洞察 Agent 的真实行为
LangSmith 是我们的 Agent 工程平台,帮助开发者调试每一个 Agent 决策、评估变更,并实现一键部署。