LangSmith 集成 Pytest 与 Vitest:将 LLM 评估嵌入标准测试框架实现自动化回归

原标题:Introducing Pytest and Vitest integrations for LangSmith Evaluations
42AI 研判分

LangChain 团队宣布 LangSmith v0.3.0 新增对 Pytest 和 Vitest/Jest 的原生集成,允许开发者在熟悉的单元测试环境中运行 LLM 应用评估。该功能通过装饰器自动记录评估结果作为反馈,旨在解决 LLM 应用在迭代过程中质量难以持续监控的痛点,目前处于 Beta 阶段。

报道正文

本文目录2 个章节

LangChain 团队 2025年1月22日 8分钟阅读 返回博客创建智能体创建智能体

评估(Evals)是构建可靠且高质量的 LLM 应用程序的关键环节。它们有助于你评估应用性能,确保在持续更新过程中质量保持一致。如果你具备软件工程背景,可能已经熟悉使用测试来实现这一目的。为了延续这种熟悉的交互方式,我们很高兴地推出一种全新的运行评估的方式:LangSmith 的 Pytest和 Vitest/Jest集成。

这些新集成现已以 Beta 形式提供,支持 LangSmith v0.3.0 版本的 Python 和 Typescript SDK。

为什么在 LLM 评估中使用测试框架

如果你已经在使用 Pytest 或 Vitest/Jest 来测试你的应用程序,新的 LangSmith 集成将为你提供 Pytest/Vitest 的灵活性、熟悉感和运行时行为,同时结合 LangSmith 的可观测性和共享功能。这些集成完全沿用了你习惯的开发体验(DX),并具有以下优势:

在 LangSmith 中调试测试

由于非确定性特性,使用 LLM 的应用程序在调试时具有额外的复杂性。LangSmith 会保存测试用例的输入/输出和堆栈跟踪信息,帮助你精准定位问题的根本原因。

在 LangSmith 中记录指标(超越通过/失败)并追踪长期进展

通常,测试框架只关注通过/失败的结果,但测试 LLM 应用往往需要更细致的处理方式。你可能没有严格的通过/失败标准;相反,你希望记录结果并观察应用如何随时间改进。借助 LangSmith,你可以记录反馈并对比不同时期的结果,从而防止性能回退,并确保始终部署最佳版本的应用。

与团队共享结果

构建 LLM 应用通常是团队协作的过程。我们常见到领域专家参与提示词(prompt)创建或评估集(evals)构建的工作流中。LangSmith 允许你在团队内共享实验结果,使协作更加便捷。

内置评估函数

如果你使用 Python,LangSmith 提供了一些内置的评估函数,帮助你检查 LLM 的输出。例如,expect.edit_distance() 用于计算测试输出与参考输出之间的字符串编辑距离。有关内置评估函数的更多详情,请访问我们的 API 参考文档。

开始使用

Pytest 入门

要在 LangSmith 中跟踪测试,请添加 @pytest.mark.langsmith 装饰器。

# tests/test_sql.pyimport openaiimport pytestfrom langsmith import wrappersfrom langsmith import testing as toai_client = wrappers.wrap_openai(openai.OpenAI())# Define your app logic elsewhere:# @traceable# def generate_sql(user_query: str) -> str: [email protected] test_offtopic_input() -> None: # Log the test case inputs and reference outputs. user_query = "whats up" t.log_inputs({"user_query": user_query}) expected = "Sorry that is not a valid question." t.log_reference_outputs({"response": expected}) actual = generate_sql(user_query) t.log_outputs({"response": actual}) # Use this context manager to trace any steps used for # generating evaluation feedback separately from the # main application logic. with t.trace_feedback(): instructions = ( "Return 1 if the ACTUAL and EXPECTED answers are semantically equivalent, " "otherwise return 0. Return only 0 or 1 and nothing else." ) grade = oai_client.chat.completions.create( model="gpt-4o-mini", messages=[ {"role": "system", "content": instructions}, {"role": "user", "content": f"ACTUAL: {actual}\nEXPECTED: {expected}"}, ], ) score = float(grade.choices[0].message.content) t.log_feedback(key="correctness", score=score) assert actual assert score

像往常一样启动测试:

pytest tests

这将像其他任何 pytest 测试运行一样执行,并将所有测试用例结果、应用追踪和反馈追踪记录到 LangSmith。

从左到右,从上到下:1. 给定测试套件的运行表格,2. 测试套件运行的结果,3. 测试用例的追踪,4. 测试用例反馈的追踪。

访问我们的 Pytest 操作指南 以获取完整示例。

开始使用 Vitest

要在 LangSmith 中跟踪测试,请将你的测试用例包裹在 ls.describe() 块中。

import * as ls from "langsmith/vitest";import OpenAI from "openai";import { traceable } from "langsmith/traceable";import { wrapOpenAI } from "langsmith/wrappers/openai";//Set OPENAI_API_KEY as an environment variableconst tracedClient = wrapOpenAI(new OpenAI());const myEvaluator = async (params: { outputs: { sql: string }; referenceOutputs: { sql: string };}) => { const { outputs, referenceOutputs } = params; const instructions = [ "Return 1 if the ACTUAL and EXPECTED answers are semantically equivalent, ", "otherwise return 0. Return only 0 or 1 and nothing else.", ].join("\n"); const grade = await tracedClient.chat.completions.create({ model: "gpt-4o-mini", messages: [ { role: "system", content: instructions, }, { role: "user", content: ACTUAL: outputs.sql\nEXPECTED:{outputs.sql}\nEXPECTED: {referenceOutputs.sql}, }, ], }); const score = parseInt(grade.choices[0].message.content ?? ""); return { key: "correctness", score };};ls.describe("generate sql demo", () => { ls.test( "offtopic input", { inputs: { userQuery: "whats up" }, referenceOutputs: { sql: "sorry that is not a valid query" }, }, async ({ inputs, referenceOutputs }) => { const sql = await generateSql(inputs.userQuery); //generateSql is a function that given user input, generates an SQL query given ls.logOutputs({ sql }); const wrappedEvaluator = ls.wrapEvaluator(myEvaluator); // Will automatically log "correctness" as feedback await wrappedEvaluator({ outputs: { sql }, referenceOutputs, }); } );});

访问我们的 Vitest/Jest 操作指南以获取完整示例。