LangChain 开源 Auto-Evaluator:提供托管应用与 API 以自动化评估 LLM 问答链质量
LangChain 团队正式开源了用于自动评分大模型问答链的 Auto-Evaluator 工具,并同步推出了免费托管应用及 API。该工具旨在解决文档问答场景中的质量评估痛点,通过自动化手段降低人工标注成本,为开发者提供可扩展的评估基础设施。
报道正文
本文目录8 个章节
LangChain 团队 2023年5月1日 · 7分钟阅读 返回博客 创建智能体 创建智能体
编者按:本文由客座作者 Lance Martin 撰写。
TL;DR(太长不看版)
我们最近开源了一个用于评估 LLM 问答链的 自动评估器 工具。现在,我们发布了一个 开源、免费使用的 托管应用 和 API,以进一步提升其易用性。下文我们将探讨一些可以进一步改进该工具的机遇。
背景
文档 问答(Question-Answering) 是 LLM 的一个热门应用场景。LangChain 可以轻松地将 LLM 组件(例如模型和检索器)组装成支持问答的链:输入文档被分割成块并存储在检索器中,根据用户 question 检索相关块,并将其传递给 LLM 以综合生成 answer。
问题
QA 系统的质量可能存在显著差异;我们发现由于特定参数设置导致幻觉和答案质量不佳的情况。然而,(1) 评估答案质量以及 (2) 利用这些评估结果来指导优化 QA 链的设置(例如块大小、检索文档数量)或组件(例如模型或检索器的选择)并不总是显而易见的。
应用
auto-evaluator 旨在解决这些局限性。其灵感来源于两个领域的研究:1) Anthropic 近期的 工作使用了由模型生成的评估集;2) OpenAI 展示了基于模型评分的评估方法。该应用将这两种理念整合到一个单一的工作空间中,能够针对给定的输入文档自动生成 QA 测试集,并对用户指定的 QA 链结果进行自动评分。LangChain 的抽象层使得通过模块化组件配置 QA 进行测试变得十分便捷(如下方彩色图示所示)。

使用方法
我们现已发布一个开源、免费使用的托管应用和 API,以扩展其可用性。该应用有两种使用方式(详见 README):
Demo:我们预加载了一个文档(Lex Fridman 播客中 Andrej Karpathy 访谈的文字实录)以及来自该播客的 5 组问答对。你可以配置 QA 链并运行实验,以评估相对性能。Playground:受 nat.dev playground 启发,用户可以输入文档以评估各种 QA 链。此外,用户还可以选择包含与文档相关的问答对测试集;示例可参见此处和此处。

改进机会
文件处理
从客户端到后端的文件传输速度较慢。对于 2 个文件(共 39MB),传输耗时约 40 秒:
Prod
Local
OAI embedding
OAI embedding
Stage
Elapsed time
Elapsed time
Transfer file
37 sec
0 sec
Reading file
5 sec
1 sec
Splitting docs
3 sec
3 sec
Making LLM
1 sec
1 sec
构建检索器
6 秒
2 秒
成功
✅
✅
图片会使文件体积膨胀,且在从客户端传输前可能会被剥离:
Prod
Prod
Prod
Prod
1.3 MB, 40 pg
3.5 MB, 42 pg
7.7MB, 42 pg
32MB, 54 pg
Stage
Elapsed time
Elapsed time
Elapsed time
Elapsed time
Transfer file
1 sec
3 sec
5 sec
35 sec
Reading file
5 sec
4 sec
6 sec
7 sec
Splitting docs
0 sec
0 sec
0 sec
1 sec
Making LLM
1 sec
1 sec
1 sec
1 sec
Make retriever
3 sec
3 sec
3 sec
4 sec
Success
✅
✅
✅
✅
模型生成的评估(Model-written-evaluations)
Anthropic 及其他机构已发表了关于模型生成评估的研究。在这里,为了追求速度,我们采用了一种极其简单的方法:我们从输入上下文中随机选取片段,并据此生成问答对。更多细节请参阅我们的博客文章 此处。这一方法仍有巨大的改进空间(例如,基于输入的整体上下文来设计问题)。
检索器(Retrievers)
LangChain 的 检索器抽象层 包含了多种文档检索方案。在向量数据库(如 FAISS、Chroma 等)生成的嵌入上进行 k-最近邻查找是一种流行方法,但也存在其他替代方案。例如,Karpathy 近期讨论了使用 SVM 作为检索器,而像 TF-IDF 这样的统计方法也是值得考虑的选项。Auto-evaluator 使得添加和/或测试各种检索器变得轻松便捷。我们构建了一个由 Kipply 优秀的 Transformer 分类法 中的 15 篇论文组成的测试集。以下是该测试集,当然它还可以进一步完善:
Question
Answer
What corpus of data was GPT-3 trained on?
GPT-3 was trained on a 300B token dataset consisting mostly of filtered Common Crawl, along with some books, webtext and Wikipedia.
What is in-context learning?
预训练阶段获得的广泛技能与模式识别能力,可在推理时仅凭输入-输出示例执行新任务,而无需更新任何权重。这是大语言模型(LLM)中涌现的一种行为。
Galatica 在 LaTeX 公式上的表现比 GPT-3 好多少?
在 LaTeX 公式任务上,Galatica 的得分为 68.2%,而最新版本的 GPT-3 仅为 49.0%。
BLOOM 模型是在什么数据上训练的?
BLOOM 模型使用 ROOTS 语料库进行训练。ROOTS 是一个由 498 个 Hugging Face 数据集组成的综合集合,包含 1.61 TB 的文本,涵盖 46 种自然语言和 13 种编程语言。
Chinchilla 论文认为计算最优训练的关键是什么?
Chinchilla 论文发现,为了实现计算最优的训练,模型大小和训练 token 数量应当等比例扩展:每当模型大小翻倍时,训练 token 的数量也应相应翻倍。
以下是结果汇总。详细结果请见此处。
简而言之,在这一特定案例中,TF-IDF 和 SVM 的表现与 k-NN 相当(实际上略优)。当然,这并非总是成立,但重点在于检索方法有很多值得考虑的选项。

基于模型的评估(Model-Graded Eval)
评分提示词
核心思想是使用提示词对模型生成的答案(以及检索到的文档)相对于标准答案进行评分。我们测试了多种提示词,具体可见此处。各提示词的详细结果(包括问题、答案及评分依据)请见此处,汇总如下:
| 提示词 | 答案得分(正确比例) |
|---|---|
| Fast | 5 / 5 |
| Descriptive | 4 / 5 |
| Descriptive with bias | 5 / 5 |
| OpenAI evals closedqa.yaml | 2 / 5 |
简而言之,不同提示词下的答案评分存在差异(例如,OpenAI 的评分标准最为严格)。未来的工作应聚焦于优化用于模型评分评估的提示词。
变异性
该应用目前使用 GPT-3.5-turbo 作为评分器,但与 OpenAI 的讨论表明 GPT4 更为可取。以下是一个示例:评分器似乎被双重否定所困惑,对于相同的输入答案问题产生了非确定性输出。
实验
答案
等级
理由
1
单层独立附属建筑或结构(用作工具间、储物棚、游戏室或类似用途)无需申请建筑许可证,前提是投影屋顶面积不超过 100 平方英尺。
等级:错误
理由:学生回答是错误的,因为它声称投影屋顶面积为 100 平方英尺或更小的结构无需申请许可证,而正确答案指出任何大于 100 平方英尺的结构都需要申请许可证。
2
单层独立附属建筑或结构(用作工具间、储物棚、游戏室及类似用途)无需申请建筑许可证,前提是投影屋顶面积不超过 100 平方英尺(9.29 平方米)。
等级:正确
理由:学生回答准确指出小于 100 平方英尺的结构无需申请建筑许可证,这是正确的。
结论
欢迎为开源仓库做出贡献,或试用免费的托管应用。与文件处理、提示词(例如用于 QA 生成、评分或 QA)、模型(例如添加来自 Hugging Face 的开源模型)或检索器相关的贡献是几个最具影响力的领域。
查看你的 Agent 实际在做什么
LangSmith 是我们的 Agent 工程平台,帮助开发者调试每一个 Agent 决策、评估变更并一键部署。