LangChain 解析 OpenAI RAG 实验:拆解向量检索与重排序策略在垂直场景的落地差异
LangChain 团队复盘了 OpenAI 演示日中披露的客户 RAG 实验,将多种检索技术映射到标准 RAG 架构栈中。文章强调不存在通用的“一刀切”方案,不同业务问题需匹配特定的检索技巧(如距离向量库、重排序等),并提供了相应的实现思路。
报道正文
本文目录10 个章节

Ankush Gola 2023年11月17日 5分钟 返回博客 创建智能体 创建智能体
背景
在演示日上,OpenAI 报告了一系列针对其合作客户进行的 RAG 实验。虽然评估指标取决于你的具体应用场景,但了解哪些方法有效、哪些无效仍然颇具启发性。下文我们将详细展开每种提及的方法,并展示如何自行实现这些方法。理解并将这些方法应用于你的场景至关重要:通过与众多合作伙伴和用户交流,我们发现不存在“一刀切”的解决方案,因为不同的问题需要采用不同的检索技术。
这些方法在 RAG 技术栈中的位置
首先,我们可以将这些方法归类到几个 RAG 类别中。下图展示了每个 RAG 实验所属的类别及其在 RAG 技术栈中的位置:
基线方法
基于距离的向量数据库检索将查询嵌入(表示)到高维空间中,并根据“距离”查找相似的嵌入文档。OpenAI 研究中提到的基础检索方法使用了余弦相似度。LangChain 拥有 超过 60 种向量存储集成方案,其中许多允许配置用于相似性搜索的距离函数。关于各种距离指标的有用博客文章可参见 Weaviate 和 Pinecone。
查询转换
OpenAI 报告了两种你可以尝试的方法:
- 查询扩展:LangChain 的 Multi-query retriever 利用 LLM 从不同视角为用户输入查询生成多个查询,从而实现查询扩展。对于每个生成的查询,它都会检索一组相关文档,并对所有查询的结果取唯一并集。
- HyDE:LangChain 的 HyDE(假设性文档嵌入)检索器会为传入的查询生成假设性文档,对其进行嵌入,并在检索过程中使用这些嵌入向量(参见论文)。其核心思想是:这些生成的文档可能与目标源文档的相似度高于原始问题本身。
其他值得考虑的思路:
- Step-back prompting:针对推理任务,这篇论文表明,通过提出一个“退一步”的问题,可以将答案综合建立在更高层次的概念或原理之上。例如,关于物理的具体问题可以被抽象为关于用户查询背后物理原理的问题与回答。最终答案可以从原始输入问题以及这个“退一步”的回答中推导得出。欲了解更多细节,请阅读这篇博客文章和 LangChain 实现。
- Rewrite-Retrieve-Read:这篇论文通过重写用户问题来提升检索效果。欲了解更多内容,请参阅 LangChain 实现。
路由
当跨多个数据存储进行查询时,将问题路由到合适的数据源变得至关重要。OpenAI 的演示报告指出,他们需要在两个向量存储和一个单一 SQL 数据库之间对问题进行路由。LangChain 提供了路由支持,利用 LLM 将用户输入门控(gate)到一组预定义的子链(sub-chains)中,在本例中,这些子链可以对应不同的向量存储。
查询构建
由于 OpenAI 研究中提到的数据源之一是一个关系型(SQL)数据库,因此需要从用户输入中生成有效的 SQL 语句,以提取所需信息。LangChain 支持 text-to-sql,我们在最近一篇专注于查询构建的 博客文章 中对此进行了详细探讨。
其他值得考虑的思路:
- 针对向量存储的 Text-to-metadata filter
- 针对图数据库的 Text-to-Cypher
- 针对 Postgres with Pgvector 中半结构化数据的 Text-to-SQL+semantic
构建索引
虽然他们并未报告通过嵌入微调带来显著的性能提升,但已有 积极的结果 被报道出来。尽管 OpenAI 指出这大概不属于“唾手可得”的低垂果实,但我们已分享了 微调指南,并且 HuggingFace 提供了一些 非常 优秀 的教程,对这一主题进行了更深入的探讨。
后处理
在检索之后、LLM 摄入之前对文档进行处理,是许多应用中的重要策略。我们可以利用后处理来确保检索到的文档具有多样性或时效性,这在从多个来源汇集文档时尤为关键。
OpenAI 报告了两种方法:
- 重排序(Re-rank):LangChain 与 Cohere ReRank 端点的集成是一种方法,可用于在检索大量文档时进行文档压缩(减少冗余)。与此相关的是,RAG-fusion 使用倒数排名融合(reciprocal rank fusion,参见 博客 和 实现) 对从检索器返回的文档进行重排序,这与上文讨论的 multi-query 类似。
- 分类:OpenAI 根据内容对每个检索到的文档进行分类,然后根据分类结果选择不同的 prompt。这结合了两种思路:LangChain 支持文本的 标签化 处理(例如,使用 function calling 强制输出 schema)以实现分类。如前所述,逻辑路由 也可用于基于标签进行路由(或将语义标签化的过程包含在逻辑路由链本身中)。
其他值得考虑的思路:
- MMR:为了在相关性和多样性之间取得平衡,许多向量数据库提供了 最大边际相关性 搜索(参见此处的 博客文章)。
- 聚类:一些方法采用了嵌入文档的聚类并结合采样,这在需要整合来自广泛来源的文档时可能很有帮助。
结论
了解 OpenAI 在 RAG 主题上的尝试颇具启发性。正如上文所示,这些方法可以在你自己的环境中复现:尝试不同的方法至关重要,因为应用性能会因 RAG 配置的不同而产生巨大差异。
然而,OpenAI 的结果也表明,评估对于避免在收效甚微或毫无收益的方法上浪费时间和精力至关重要。在 RAG 评估方面,LangSmith 提供了大量支持:例如,这里提供了一份使用 LangSmith 评估多个高级 RAG 链的 cookbook。
洞察 Agent 的真实行为
LangSmith 是我们的 Agent 工程平台,帮助开发者调试每一个 Agent 决策、评估变更,并实现一键部署。