LangSmith 推出 Custom Apps:基于提示词生成智能体数据可视化界面
LangChain 在 LangSmith 平台正式推出 Custom Apps 功能,允许开发者通过自然语言提示词快速构建、发布并运行自定义 UI。该功能旨在解决默认界面无法覆盖特定调试需求的问题,支持用户围绕智能体的追踪(Traces)、实验和反馈数据创建专属视图,无需从零开始编写前端代码。
报道正文
本文目录9 个章节

Sam CrowderBonnie Pecevich2026年9月24日5分钟返回博客创建智能体创建智能体
核心要点
- 无需从零开始即可创建自定义界面。 利用模板和编码代理(coding-agent)指导,基于 LangSmith 数据进行构建,随后在 LangSmith 内发布并共享。
- 以你偏好的方式审查智能体行为。 为反馈、实验、追踪(traces)以及对你应用最重要的行为构建专注的 UI。
- 通过提示词创建自定义应用。 使用 LangSmith Chat 描述所需数据及展示方式,将其转化为可运行的应用。
今天,我们在 LangSmith 中推出了 Custom Apps,允许你在 LangSmith 数据之上构建、发布并运行自定义 UI,并直接在 LangSmith 内部执行这些应用。
成千上万的 AI 工程团队使用 LangSmith 来调试、评估和改进他们的智能体。LangSmith 根据我们观察到的最常见用户需求,为这些工作流提供了默认 UI,包括针对延迟、成本和错误率的预建仪表盘,以及突出显示实验间回归(regressions)的对比视图。但我们发现,团队往往需要以符合自身质量标准和审查流程的方式与数据进行交互。
一些团队已经通过在 LangSmith 数据周围构建自定义前端来解决这个问题。他们使用编码代理、LangSmith API 和内部工具来创建数据的自定义界面。但这些应用程序也像其他软件一样需要持续维护,包括托管、身份验证、权限管理和共享。
现在,Custom Apps 让你能够使用你的 LangSmith 数据构建所需的界面,将其发布到你的工作区中,并省去托管、身份验证和权限管理的工作。
Custom Apps 的工作原理
借助 Custom Apps,你可以从聊天提示词开始,或者通过代码进行构建。在 Plus 和企业版计划中,告诉 LangSmith Chat 你想查看哪些数据以及如何可视化这些数据,Chat 就会将其转化为一个可运行的应用。如果你更愿意自己动手构建,可以从提供的模板开始,并使用你的编码代理基于 LangSmith API 进行开发。
发布后,该应用便成为工作区内的共享界面。你无需再导出数据或临时重建相同的静态视图,而是可以将该应用复用于重复性工作流,并与团队成员在同一个地方分享——他们原本就在这里查看追踪记录(traces)、实验、标注和评估结果。

左侧为 LangSmith 聊天界面,右侧为自定义应用的预览。
当你需要重复执行相同的审查流程时,Custom Apps(自定义应用)尤为有用。以下是几种常见的使用方式。
为标注人员提供恰当的上下文
人类反馈是改进 AI 系统最重要的输入之一。自动化评估(automated evals)有助于发现模式,但你仍然需要人工来审查输出、判断行为表现,并明确你的应用中“良好”的标准是什么。
这种审查往往取决于执行工作的人员角色。工程师可能需要完整的追踪记录,包括工具调用、元数据和中间步骤。而领域专家(SME)可能只需要用户请求、模型响应、相关上下文以及清晰的评分标准(rubric)。
借助 Custom Apps,你可以创建与审查人员工作流相匹配的标注界面。你可以向审查人员提供他们所需的上下文,隐藏他们不需要的细节,并引导他们收集你希望获取的具体反馈。
我们过去的人工介入(human-in-the-loop)审查分散在电子表格和其他独立工具中。审查人员需要在不同平台间切换,团队还要花费大量精力手动准备文件并统一格式。因此,我们构建了一个用于结构化 LLM 评估和标注的 Custom App。它在 LangSmith 内部运行并通过 API 连接,使我们能够建立符合团队工作方式审查队列和仪表盘。审查人员选择一个队列,评估并编辑输出,然后将结果添加到数据集中。这为我们提供了一个可重复的人工介入审查框架,简化了跟踪流程,并使评估更容易跨团队扩展。 – Roxanne Wang, Chime®
自定义实验对比方式
实验有助于你评估对智能体(agent)所做的更改是否达到了预期效果。在发布更改之前,你通常需要审查那些对你的应用至关重要的单个结果、细分群体或失败模式。
这可能意味着比较不同提示词版本的输出、检查模型替换是否引入了回归问题,或者按客户细分、失败类别、模型提供商或内部评估标准对结果进行切片分析。
通过 Custom Apps,你可以围绕这些决策创建实验审查界面。这意味着你可以突出显示最重要的数据切片,展示代表性示例,并排比较输出结果,或将结果打包成你在发布审查中使用的格式。
当实验审查是一个重复性过程时,这一点尤其有用。你无需每次重新构建相同的静态图表或自定义分析,而是可以创建一个与 LangSmith 数据保持连接的共享应用,并在每个审查周期中复用。
让 Trace 审查更具针对性
你的 Trace 审查流程通常取决于所运行的 Agent 类型。对于客服 Agent,你可能关注语气以及 Agent 是否解决了问题,这只能通过阅读对话来判断。另一方面,研究 Agent 可能根据其来源和所需的工具调用次数来评判。
当这种审查按计划进行时,Custom Apps 允许你围绕最常问的问题创建更聚焦的 UI,例如行为在哪里发生了变化、哪个步骤导致了失败,或者应用程序是否遵循了预期流程。
使用 LangSmith 开源设计系统
Custom Apps 默认使用 Macaw,即 LangSmith 的设计系统。这使你的应用拥有与 LangSmith 其他部分一致的视觉语言,包括统一的组件和图标。
你也可以自由定制外观。如果你希望应用符合公司品牌风格,可以通过聊天或与编码 Agent 交互添加任何自定义设置(例如:“让它看起来像老式 Macintosh 软件”)。
随着今天的发布,我们将 Macaw 开源。我们将继续扩展它,并欢迎社区在其演进过程中提供反馈。
可用性与定价
Custom Apps 适用于 Plus 和 Enterprise 计划:
- Plus 计划包含每个组织一个 Custom App 以及聊天体验。
- Enterprise 计划包含无限数量的 Custom Apps 以及聊天体验。
有关一般使用和计费信息,请参阅我们的定价页面。
开始使用
你可以立即通过 登录或注册 LangSmith 来试用 Custom Apps,并 查阅文档 了解更多详情。
洞察 Agent 的真实行为
LangSmith 是我们的 Agent 工程平台,助力开发者调试每一个 Agent 决策、评估变更,并实现一键部署。