LangChain 发布 LangSmith 微调指南:演示 LLaMA2 与 GPT-3.5 数据导出及评估流程
LangChain 团队发布了使用 LangSmith 管理数据集并评估大模型微调效果的教程。该指南以知识图谱三元组提取为测试案例,展示了如何从 LangSmith 导出训练数据,分别对开源模型 LLaMA2-7b-chat(通过 Colab/HuggingFace)和 OpenAI 的 gpt-3.5-turbo 进行微调,并利用 LangSmith 完成结果评估。
关联知识实体
报道正文
本文目录14 个章节
LangChain 团队 2023年8月23日 · 11分钟阅读 返回博客 创建智能体 创建智能体
摘要
我们编写了一份指南,介绍如何 利用 LangSmith 进行数据集管理和评估,从而对 LLM 进行微调与评测。该指南涵盖了两种实现路径:一是在 CoLab 上结合 HuggingFace 训练开源 LLM;二是使用 OpenAI 新推出的微调服务。作为测试案例,我们使用从 LangSmith 导出的训练数据,针对知识图谱三元组抽取任务分别微调了 LLaMA2-7b-chat 和 gpt-3.5-turbo,并同样通过 LangSmith 对结果进行了评估。CoLab 指南可在此查看:链接。
背景
过去几周,人们对微调的兴趣迅速升温。这主要归因于以下两个原因。
首先,开源 LLM 生态系统取得了显著增长,在大约一年内,从 大幅落后于最先进水平(SOTA) 的开源 LLM,发展到接近 SOTA(例如 Llama-2)且 可在消费级笔记本电脑上运行 的 LLM。推动这一进步的因素包括 日益庞大的训练语料库(下图横轴)以及针对 指令遵循 和更好的人类 对齐 响应的微调(纵轴)。高性能的开源基础模型带来了诸多优势,例如成本节约(特别是在 token 密集型任务 中)、隐私保护,以及通过微调使规模小得多的开源模型在高度特定的任务上 超越 SOTA LLM 的机会。
其次,领先的 LLM 提供商 OpenAI 已发布 了针对 gpt-3.5-turbo(及其他模型)的微调支持。此前,微调功能仅适用于较旧的模型。这些旧模型的能力远不如新模型,这意味着即使经过微调,它们往往也无法与 GPT-3.5 加上少样本示例(few-shot examples)的效果相媲美。如今既然新模型也支持微调,许多人预计这一局面将发生改变。
有人 认为,组织可能会选择基于开源基础模型微调出的多个专用 LLM,而不是依赖单一的巨型通用模型。考虑到这一趋势以及像 HuggingFace 这样支持微调的库,你可能想知道何时以及如何执行微调。本指南将提供概述,并展示 LangSmith 如何支持这一过程。

何时进行微调
LLM 至少可以通过两种方式学习新知识:权重更新(例如预训练或微调)或提示工程(例如检索增强生成,RAG)。模型权重类似于长期记忆,而提示则类似于短期记忆。这份 OpenAI cookbook 提供了一个有用的类比:当你微调一个模型时,就像为一个月后的考试做准备;当你通过检索等方式将知识插入提示中时,就像带着开卷笔记参加考试。
鉴于此,不建议通过微调来向 LLM 传授新知识或提升事实召回能力;OpenAI 的 John Schulman 在这场演讲中指出,微调可能会增加幻觉现象。微调更适合用于教授特定任务,但应将其与提示工程(prompting)或 RAG 进行对比考量。正如此处所讨论的,对于定义明确且拥有充足示例的任务,或者当 LLM 缺乏支持少样本提示(few-shot prompting)所需的上下文学习能力时,微调可能会有所帮助。Anyscale 的这篇博客很好地总结了这些观点:微调旨在塑造形式,而非注入事实。
如何微调
目前已有许多实用的 LLaMA 微调方案发布,可用于诸如基于 HuggingFace 上的 OpenAssistant 语料库的子集进行聊天等任务。值得注意的是,这些方案可在单个 Colab GPU 上运行,使得工作流程更加易于上手。然而,微调过程中两个最大的痛点仍然是数据集收集/清洗以及评估。下文我们将展示如何利用 LangSmith 来解决这两个问题(见下方绿色部分)。

任务
像分类 / 标注或信息抽取这样的任务非常适合进行微调;Anyscale 报告称,通过对 LLaMA 7B 和 13B 大语言模型(LLM)在信息抽取、文本转 SQL 以及问答任务上进行微调,取得了令人鼓舞的结果(性能超过 GPT-4)。作为测试案例,我们选择了从文本中抽取形式为 (主语, 关系, 宾语) 的知识三元组:其中主语和宾语是实体,而关系则是它们之间的属性或连接。这些三元组随后可用于构建知识图谱,即存储实体及其关系信息的数据库。我们构建了一个公开的 Streamlit 应用,用于从用户输入的文本中抽取三元组,以探索大语言模型(GPT-3.5 或 GPT-4)通过函数调用(function calling)抽取三元组的能力。与此同时,我们利用公开数据集对该任务进行了微调,分别针对 LLaMA2-7b-chat 和 GPT-3.5。
数据集
在训练大语言模型时,数据集的收集与清洗往往是一项极具挑战性的任务。当项目在 LangSmith 中建立后,生成结果会被自动记录,从而轻松获取大量数据。LangSmith 提供了一个可查询接口,你可以使用用户反馈过滤器、标签及其他指标来筛选低质量案例,在应用中修正输出,并将其保存至数据集,以便用于提升模型效果(详见下文)。

作为示例,我们基于公开数据集 BenchIE 和 CarbIE 中的知识图谱三元组,创建了 LangSmith 的训练集和测试集;我们将它们转换为统一的 JSON 格式,每个三元组表示为 {s: subject, object: object, relation: relationship},并将合并后的数据随机划分为包含约 1500 条标注句子的训练集和包含 100 条句子的测试集。CoLab 展示了如何轻松加载 LangSmith 数据集。加载后,我们使用以下系统提示词和 LLaMA 指令 token(做法参考此处)来构建用于微调的指令:
"you are a model tasked with extracting knowledge graph triples from given text. ""The triples consist of:\n""- \"s\": the subject, which is the main entity the statement is about.\n""- \"object\": the object, which is the entity or concept that the subject is related to.\n""- \"relation\": the relationship between the subject and the object. ""Given an input sentence, output the triples that represent the knowledge contained in the sentence."
量化
正如这篇优秀的指南此处所示,我们对一个拥有 70 亿参数的 LLaMA chat 模型进行微调。我们希望仅在单个 GPU 上完成这一过程(HuggingFace 指南见此处),但这带来了一个挑战:如果每个参数占用 32 位,那么 70 亿参数的 LLaMA2 模型将占据 28GB 显存,这超过了 T4 GPU 的 16GB VRAM 限制。为了解决这个问题,我们对模型参数进行量化,即将数值分箱(例如,在 4 位量化的情况下分为 16 个值),从而显著减少存储模型所需的内存(70 亿 * 4 位 / 参数 = 3.5GB),大约降低了 ~8 倍。
LoRA 与 qLoRA
模型加载到内存后,我们仍需在剩余 GPU 资源的约束下进行微调。为此,参数高效微调(PEFT)是一种常见方法:LoRA 冻结预训练模型的权重,并在模型架构的每一层中注入可训练的秩分解矩阵(参见 此处),从而减少微调所需的可训练参数数量(例如,约占模型总参数的 ~1%)。qLoRA 在此基础上进行了扩展,通过冻结 量化 权重来实现。在微调过程中,冻结的权重会在前向和反向传播时被 反量化,但内存中仅保存(少量)LoRA 适配器,从而减小了微调后模型的占用空间。
训练
我们从预训练的 LLaMA-7b 聊天模型 llama-2-7b-chat-hf 开始,并在 A100 GPU 上通过 CoLab 对约 1500 条指令进行微调。对于训练配置,我们采用了来自 此处 的 LLaMA 微调参数:BitsAndBytes 以 4-bit 精度加载基础模型,但前向和反向传播使用 fp16 精度。我们使用 监督微调 (SFT) 在我们的指令数据上进行微调,鉴于数据量较小,在 A100 上训练速度非常快(< 15 分钟)。
OpenAI 微调
为了微调 OpenAI 的 GPT-3.5-turbo 聊天模型,我们从训练数据集中选取了 50 个示例,并将它们转换为预期格式的聊天消息列表:
{ "messages": [ { "role": "user", "content": "Extract triplets from the following sentence:\n\n{sentence}"}, { "role": "assistant", "content": "{triples}" }, ... ]}
由于基础模型具备广泛的通用能力,我们无需大量数据即可实现所需的行为。训练数据的目的是引导模型始终生成正确的格式和风格,而非向其传授实质性信息。正如我们在下文的评估部分所见,50 个训练样本足以让模型每次都能以正确格式预测三元组。
我们通过 openai SDK 上传了微调数据,并直接在 LangChain 的 ChatOpenAI 类中使用生成的模型。微调后的模型可直接使用:
from langchain.chat_models import ChatOpenAI
llm = ChatOpenAI(model="ft:gpt-3.5-turbo-0613:{openaiOrg}::{modelId}")整个过程仅耗时几分钟,且除了不再需要在提示模板中添加少样本示例(few-shot examples)外,我们的链(chain)无需任何代码更改。随后,我们将该模型与其他模型进行基准测试,以量化其性能。你可以在我们的 CoLab notebook 中查看整个流程的示例。
评估
我们使用 LangSmith 对每个模型进行了评估,应用一个 LLM(GPT-4)评估器对每个预测结果进行评分,该评估器被指示识别标签与预测三元组之间的事实差异。当模型预测出标签中不存在的三元组,或未能包含某个三元组时,评分会受到惩罚;但如果宾语或关系的措辞仅在非关键意义上有所不同,评估器则会给予宽容处理。评估器按 0-100 分的范围对结果进行打分。我们在 CoLab 中运行这些评估,以便轻松配置自定义评估器和待测链。
下表展示了 llama 基础聊天模型及其微调变体的评估结果。作为对比,我们还对使用 OpenAI 聊天模型的 3 种链进行了基准测试:使用少样本提示的 gpt-3.5-turbo、在 50 个训练数据点上微调的 gpt-3.5-turbo 模型,以及采用少样本提示的 gpt-4 链:
- GPT-4 的少样本提示表现最佳
- 微调后的 GPT-3.5 紧随其后
- 微调后的 LLaMA-7b-chat 性能超过 GPT-3.5
- 微调后的 LLaMA-7b-chat 比基线 LLaMA-7b-chat 高出约 29%
微调后的 llama-2
Base llama-2 chat model
few-shot gpt-3.5-turbo
finetuned gpt-3.5-turbo
few-shot gpt-4
Score
49%
38%
40%
56%
59%
分析
我们使用 LangSmith 来识别常见的失败模式,并更深入地理解微调模型在哪些方面优于基础模型。通过筛选低分预测结果,我们可以观察到基线 LLaMA-7b-chat 出现荒谬幻觉的案例:在下方案例中,LLM 误认为主题是 Homer Simpson,并随意给出了超出预期格式范围的答案(链接)。相比之下,微调后的 LLaMA-7b-chat(链接)生成的答案更接近参考标准(ground truth)。

基础模型因从预训练知识中推断过多信息而产生幻觉的示例。
即使提供了 few-shot 示例,基线 LLaMA-7b-chat 仍倾向于以非正式的闲聊风格进行回答(链接)。

基础 llama 模型经常在未被要求的情况下注入叙事内容。
相反,微调模型倾向于生成(链接)与期望答案格式对齐的文本,并且避免添加不必要的对话内容。

微调模型在某些情况下仍未能生成所需的内容。在下方案例中(链接),模型重复了指令而不是生成提取的结果。这可以通过多种方法解决,例如调整解码参数(或使用 logit biasing)、增加指令、使用更大的基础模型(如 13b 版本),或改进指令(即 prompt engineering)。

微调模型偶尔会出现重复现象。
我们可以将上述方法与少样本提示的 GPT-4 进行对比(链接),后者无需在训练数据集上进行微调,即可提取出合理的三元组。

结论
我们可以总结出以下几个核心经验:
- LangSmith 有助于解决微调工作流中的痛点,例如数据收集、评估和结果检查。我们展示了 LangSmith 如何简化数据集的收集与加载,以及运行评估和检查特定生成结果的过程。
- 在转向更具挑战性且成本更高的微调之前,应仔细考虑 RAG 或少样本提示(few-shot prompting)。实际上,少样本提示下的 GPT-4 表现优于我们所有经过微调的变体。
- 在定义明确的任务上微调小型开源模型,其性能可以超越规模大得多的通用模型。正如 Anyscale 及其他机构此前报告的那样,我们发现经过微调的 LLaMA2-chat-7B 模型性能超过了规模大得多的通用 LLM(GPT-3.5-turbo)。
- 有许多杠杆可以提升微调性能,其中最值得注意的是精心的任务定义和数据集策划。一些工作,如 LIMA,通过仅在精选的高质量指令集(多达 1000 条)上对 LLaMA 进行微调,就实现了令人印象深刻的性能。进一步的数据收集/清洗、使用更大的基础模型(例如 LLaMA 13B),以及利用 GPU 服务扩展微调规模(如 Lambda Labs、Modal、Vast.ai、Mosaic、Anyscale 等)都是改善这些结果的可预见途径。
总体而言,这些结果(以及链接的 CoLab)提供了一套快速配方,用于借助 LangSmith 这一辅助工具完成整个工作流,从而微调开源 LLM。
洞察 Agent 的真实行为
LangSmith 是我们的 Agent 工程平台,助力开发者调试每一个 Agent 决策、评估变更影响,并实现一键部署。