LangChain 发布多模态 RAG 模板:实现幻灯片视觉内容检索与问答增强
LangChain 推出针对演示文稿的多模态检索增强生成(RAG)模板,旨在解决传统文本 RAG 无法有效处理幻灯片等视觉信息的问题。该方案通过结合图像理解与向量检索技术,使 LLM 能够直接从 PPT 等非结构化视觉数据中提取上下文并生成回答,目前已在 LangSmith 平台提供基准测试与部署支持。
报道正文
本文目录8 个章节

Ankush Gola 2023年12月6日 5分钟 返回博客 创建智能体 创建智能体
关键链接
动机
检索增强生成(RAG)是 LLM 应用开发中最重要的概念之一。多种类型的文档可以传入 LLM 的上下文窗口,从而实现交互式聊天或问答助手。尽管迄今为止许多 RAG 应用主要聚焦于文本,但大量信息是以视觉内容形式呈现的。例如,幻灯片在从投资者演示到公司内部沟通等多种场景中都非常常见。随着 GPT-4V 等多模态 LLM 的出现,解锁针对幻灯片中视觉内容的 RAG 能力正变得可行。下文我们将展示解决这一问题的两种不同方法。我们分享了一个用于评估幻灯片 RAG 的公开 benchmark,并利用它来突出这些方法之间的权衡取舍。最后,我们提供了一个模板,以便快速创建针对幻灯片的多模态 RAG 应用。
设计
该任务类似于基于文本文档的 RAG 应用:根据用户问题检索相关的幻灯片,并将其传递给多模态 LLM(GPT-4V)以合成答案。至少有两种通用的方法来处理这个问题。
(1) 多模态嵌入:将幻灯片提取为图像,使用多模态嵌入模型对每张图像进行向量化,根据用户输入检索相关的幻灯片图像,并将这些图像传递给 GPT-4V 以合成答案。我们此前已发布了一个基于 Chroma 和 OpenCLIP 嵌入 的 cookbook。
(2) 多向量检索器:将幻灯片提取为图像,使用 GPT-4V 对每张图像进行摘要,将图像摘要与原始图像的链接一起进行嵌入,基于图像摘要与用户输入之间的相似度检索相关图像,最后将这些图像传递给 GPT-4V 以合成答案。我们此前已发布了一个基于 多向量检索器 的 cookbook。
这两种方法之间的权衡很直观:多模态嵌入是一种更简单的设计,与我们在基于文本的 RAG 应用中所做的类似,但可选方案有限,且在检索视觉上相似的图表或表格方面存在一定疑问。相比之下,图像摘要利用了成熟的文本嵌入模型,能够详细描述图表或图形。但这种设计面临更高的复杂性和图像摘要成本。
评估
为了评估这些方法,我们选择了 Datadog 最近的一份 财报演示文稿,将其作为包含视觉和定性元素混合的真实幻灯片示例。我们为这份幻灯片创建了一个小型公开的 LangChain benchmark,包含 10 个问题:你可以在这里和这里查看该 benchmark 的评估文档。
作为合理性检查,我们可以看到能够基于幻灯片内容的自然语言描述来检索幻灯片(见下方代码 此处)。
我们基准测试中的问答对是基于幻灯片的视觉内容构建的。我们使用 LangSmith 评估了上述两种 RAG 方法,并与使用文本提取的 RAG(Top K RAG (text only))进行了对比。
方法
得分 (CoT 准确率)
Top k RAG(仅文本)
20%
60%
带图像摘要的多向量检索器
90%
LangSmith 提供了一个对比视图,让我们可以并排查看每个实验的结果。这里是一个公开页面,可以在其中详细比较评估运行结果。下图展示了运行对比视图。
利用上述对比分析,我们可以针对每个问题比较检索到的内容。这些幻灯片深入剖析了评估集中的每一个问答对及其关联的 LangSmith 追踪记录。
洞察
-
多模态方法的性能远超仅文本的 RAG。与仅加载文本的 RAG(20%)相比,多模态方法(60% 和 90%)带来了显著提升,考虑到保留视觉上下文对于推理幻灯片内容的重要性,这一结果符合预期。
-
GPT-4V 在从图像中提取结构化数据方面表现强大。例如,参见此追踪记录。该问题要求统计客户数量,这只能从包含大量混合视觉内容的幻灯片中获取。GPT-4V 能够正确地从幻灯片中提取这些信息
-
检索到正确的图像是核心挑战。正如 幻灯片 中所述以及上文提到的,如果成功检索到正确的图像,GPT-4V 通常能够正确回答问题。然而,图像检索才是核心难点。我们发现,与多模态 embeddings 相比,图像摘要确实能显著提升检索效果,但预计算摘要会带来更高的复杂性和成本。当前的关键需求在于开发能够区分视觉上相似幻灯片的多模态 embeddings。OpenCLIP 提供了多种不同的模型,值得尝试和实验。
部署
为了简化针对此用例的多模态 RAG 应用的测试,我们发布了一个使用 Chroma 和 OpenCLIP 多模态 embeddings 的模板。这使得上手变得极其简单:只需上传一份演示文稿并按照 README 操作(仅需两条命令即可构建 vectorstore 并运行 playground)。下图展示了在 Datadog 财报演示文稿 上的交互式聊天 playground(左侧),以及显示正确幻灯片检索结果的 LangSmith trace(右侧)。
结论
多模态 LLM 有潜力解锁幻灯片演示文稿中的视觉内容,以用于 RAG 应用。我们构建了一个公开的基准评估集,包含针对 Datadog 投资者演示幻灯片的问答对(链接)。我们在该基准上测试了两种多模态 RAG 方法。我们发现,这两种方法的性能均优于纯文本 RAG。我们确定了多模态 RAG 不同方法之间的权衡:对每张幻灯片进行文本摘要可以提高检索效果,但代价是需要预先为每张幻灯片生成摘要。多模态模型可能具有更高的性能上限,但目前可用的选项相对有限,且在我们的测试中,其表现不如文本摘要方法。为了协助多模态 RAG 应用的测试和部署,我们还发布了一个模板。
查看您的智能体实际在做什么
LangSmith 是我们的智能体工程平台,帮助开发者调试每一个智能体决策、评估变更,并实现一键部署。