LangChain 发布 LLM-as-a-Judge 对齐指南:通过少样本提示提升自动评估与人类偏好一致性

原标题:Aligning LLM-as-a-Judge with Human Preferences
48AI 研判分

LangChain 团队发布了关于如何将“LLM 作为裁判”(LLM-as-a-Judge)机制与人类偏好对齐的技术指南。该方案针对自然语言输出难以用硬编码规则评判的痛点,提出利用少样本示例(Few-shot examples)优化评估器,从而在 LangSmith 平台中实现更精准、可复现的自动化质量监控。

报道正文

本文目录6 个章节

Harrison's In the LoopObservability & Evals

让 LLM-as-a-Judge 与人类偏好对齐

Harrison ChaseJune 26, 20247min返回博客创建智能体创建智能体

关键链接:

评估是持续改进你的 LLM 应用的过程。这需要一种衡量应用性能的方法。

LLM 应用通常生成自然语言输出,难以使用硬编码规则进行评判。例如,简洁性或相对于参考输出的正确性等属性,很难用典型的单元测试来表达。

使用“LLM-as-a-Judge”是对 LLM 应用生成的自然语言输出进行评分的一种流行方法。这涉及将生成的输出(以及其他信息)传递给一个独立的 LLM,并要求它对输出进行评判。虽然这在某些场景下已被证明很有用,但它带来了一个有趣的问题:你现在需要进行另一轮提示工程,以确保 LLM-as-a-Judge 表现良好。

LangSmith 针对这一日益凸显的问题提出了一种新颖的解决方案。LangSmith 评估器现在具备“自我改进”功能,即将人类对 LLM-as-a-Judge 输出的修正存储为少样本示例(few-shot examples),并在未来的迭代中将这些示例反馈到提示词中。

💡

其最终影响是,更容易创建能准确反映你偏好的 LLM-as-a-Judge 评估器,且无需进行提示工程,同时它们会随着你在 LangSmith 中的原生交互而随时间自适应调整。

在这篇文章中,我们将探讨“LLM-as-a-Judge”(大模型作为裁判)评估器的兴起、促使我们采用这一方案的相关研究动机,并深入剖析其具体实现方式。如果你想亲自体验,可以在此免费注册 LangSmith。

LLM-as-a-Judge

以编程方式评估 LLM 的输出通常颇具挑战。这很大程度上是因为缺乏优秀的评估指标。当然,如果你从事的是分类、命名实体提取或其他“传统”机器学习任务,那么有标准的 ML 指标可供使用。但如果你处理的是更偏向“生成式”的任务(大多数应用往往如此),则鲜有理想的选择。

而评估至关重要!你不能仅仅发布一个应用然后听天由命——你应该在真实数据上评估其性能,对应用进行修改,并确保这些修改不会导致回归问题。我们看到开发者们在在线和离线评估阶段都投入了大量时间——LangSmith 正是为此而生。

LangSmith 并不强制规定你使用哪些指标(我们发现几乎所有人都会定义自己的自定义指标)。我们与 Elastic 和 Rakuten 等优秀团队合作,亲眼见证了他们如何进行评估——我们注意到的趋势之一,就是“LLM-as-a-Judge”评估器的使用日益增多。

“LLM-as-a-Judge”评估器简单来说,就是利用 LLM 对输出结果进行打分的评估器。当难以通过编程方式评估应用,且唯一可行的替代方案是人工标注时,这种方法尤为有用。我们观察到的主要应用场景包括:

  • 检测 RAG 幻觉(在线评估)
  • 检测 RAG 正确性(离线评估)
  • 检测 LLM 是否生成了有毒或不恰当的回答(离线和在线评估)

为什么这种方法行得通?如果答案本身就是由 LLM 生成的,那么用另一个 LLM 来给结果打分为何真的有效呢?

这里有两个关键因素。首先,在评估过程中,LLM 可能获取到生成时并不存在的信息。例如,在判断 RAG(检索增强生成)的正确性时,你会将标准答案(ground truth)提供给作为评估者的 LLM,并要求它据此进行比较。显然,这是你在生成时刻所不具备的信息。其次,对于 LLM 而言,判断答案的正确性比自行生成正确答案要容易得多。这种任务的“简化”使得 LLM-as-a-Judge(以 LLM 为裁判)的方法变得可行。

虽然这一流程效果不错,但也存在一些复杂情况。你仍然需要针对评估提示词进行另一轮 prompt engineering(提示工程),这可能非常耗时,并阻碍团队建立完善的评估系统。通过 LangSmith,我们旨在简化这一评估流程。

驱动研究

有两项驱动性的研究促使我们实施了解决方案。

第一项并非新鲜事:语言模型擅长少样本学习。如果你向 LLM 提供正确操作的示例,它们会模仿正确的行为。这种方法在我们的客户 LLM 应用中已被广泛采用;特别是在那些难以通过指令解释 LLM 应如何表现、且期望输出具有特定格式的情况下,该方法尤为有效。评估恰好符合这两个条件!

第二项研究则是全新的:来自伯克利大学 Shreya Shankar 的论文 Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences(《谁来验证验证者?使 LLM 辅助的 LLM 输出评估与人类偏好对齐》)。这篇论文探讨了同样的问题,尽管它提出的解决方案与我们不同,但它激励我们将反馈收集作为一种手段,以编程方式将 LLM 评估与人类偏好对齐。

那么——我们是如何结合这两个想法来构建我们的“自我改进”评估器的呢?

我们的解决方案:LangSmith 中的自我改进评估

基于最新的研究以及 LLM-as-a-Judge 评估器的广泛应用,我们为 LangSmith 评估器开发了一种新颖的“自我改进”系统。这种方法旨在简化将 LLM 评估与人类偏好对齐的过程,从而消除对大量 prompt engineering 的需求。其工作原理如下:

首先,设置 LLM 作为评判者(在线或离线): 用户可以轻松地在 LangSmith 中设置一个 LLM-as-a-Judge 评估器,用于在线或离线评估。初始设置只需极少的配置,因为系统设计为随时间推移不断优化。在设置过程中,你可以指定如何将 few-shot 示例格式化到 prompt 中。

  1. 让它提供反馈:LLM 评估器会对生成的输出提供反馈,评估诸如正确性、相关性或在先前步骤中作为评判标准指定的其他因素。
  2. 用户可以在应用中直接对反馈进行修正: 当用户审查 LLM 的评估结果时,他们可以直接在 LangSmith 界面中修改或纠正反馈。这一步对于捕捉人类偏好和判断至关重要。
  3. 这些修正将被存储为 few-shot 示例: LangSmith 会自动将这些人工修正存储为 few-shot 示例。这会创建一个不断增长的人类对齐评估数据集,反映你团队或应用的特定偏好和标准。在此流程中,你还可以为你的修正留下解释说明。
  4. 下次运行评估器时,它将存储这些示例(以及可选的解释说明),并利用它们来指导生成: 在后续的评估运行中,系统会将这些存储的示例纳入 LLM-as-a-Judge 的 prompt 中。通过利用语言模型的 few-shot learning 能力,评估器会随时间推移越来越符合人类偏好。

如需更详细的技术指南,请参阅此操作指南。

这种自我改进的循环使得 LLM-as-a-Judge 能够根据真实世界的反馈适应并优化其评估,从而消除了手动调整 prompt 或耗时费力的 prompt engineering。现在,团队可以专注于在必要时审查和纠正评估结果,并知道他们的输入将直接提升系统的长期性能。

结论

LLM-as-a-Judge 评估器是评估生成式 AI 系统的强大工具,但也给提示词工程和人类偏好对齐带来了新的挑战。LangSmith 的自改进评估器为这一问题提供了优雅的解决方案:它利用少样本学习(few-shot learning)和用户修正,将人类反馈融入评估过程,从而在无需持续人工干预的情况下,实现准确且相关的评估。

随着 AI 的快速进步,自改进评估器将在弥合机器能力与人类期望之间的差距方面发挥关键作用。借助 LangSmith,我们赋能团队以更高的信心和效率构建、评估和优化其 AI 应用。如果你还没有注册,可以在此免费试用 LangSmith。

洞察 Agent 的真实行为

LangSmith 是我们的 Agent 工程平台,帮助开发者调试每一个 Agent 决策、评估变更,并一键部署。

Try LangSmithGet a demo