Retrieve-for-Train:绕过推理瓶颈加速 AI 搜索
针对复杂 AI 搜索中查询分解导致的推理成本过高问题,提出“Retrieve-for-Train”方法。该方案通过检索增强训练替代零样本 LLM 的动态规划,显著降低对昂贵思维预算的依赖,实现高效、数据友好的集合检索。
报道正文
本文目录10 个章节
现代搜索或推荐应用越来越被期望返回一组连贯的结果,而非单一的最佳匹配项。例如,当用户搜索“露营装备”时,他们并不想要十种略有不同的四人帐篷变体。他们希望得到一个连贯且互补的组合,涵盖基本的露营装备,如帐篷、睡袋、便携式炉具和头灯。
为此,系统采用查询扇出技术,将单个宽泛的提示分解为多个相关的子查询,以覆盖潜在的用户兴趣。然而,教 LLM 动态执行数据库感知的查询分解会消耗巨大的思考预算。从设计上看,零样本LLM 是通用的自回归文本预测器;它们并未针对目标语料库特定的几何流形进行优化导航。因此,它们需要扩展测试时计算量,才能返回在保持相对于固定数据库有依据的同时,优化高阶集合级属性(例如多样性、覆盖率、互补性、连贯性)的结果集合。
在我们的 ICML 2026 论文 “Efficient, Property-Aligned Fan-Out Retrieval via RL-Compiled Diffusion” 中,我们通过奖励到数据编译框架解决了这一分解瓶颈。我们的 Retrieve-for-Train 框架并非迫使模型在推理阶段耗费大量思考预算,而是利用离线强化学习 (RL) 来发现与奖励对齐的扇出结果,并将其编译为监督信号。通过将这些优化的探索行为蒸馏到一个轻量级的扩散检索器中,我们实现了推理时高效、单遍的查询扇出。这在无需测试时思考 token 开销的情况下,达成了数学公式化的集合级属性。
为什么日常 AI 不是搜索专家
在需要为复杂的搜索词组进行头脑风暴时,人们往往倾向于直接在推理阶段部署一个标准的现成大语言模型(LLM)来处理任务。然而,依赖通用模型进行数据库感知的查询分解会引入两个关键挑战:
- 释义坍缩: 若缺乏数据库感知的优化,零样本 LLM 经常会出现释义坍缩现象。它们未能探索主题的互补维度,而是倾向于生成冗余、近乎同义的查询。例如,面对宽泛的提示词“波西米亚节日风格”,未经精心提示工程优化的标准 LLM 可能会偷懒地生成“波西米亚节日时尚”和“波西米亚节日服装”。这种语义循环导致结果同质化,完全遗漏了时尚专家能够识别出的独特且有用的语义方向,如流苏夹克、钩针连衣裙或麂皮靴。
- 自回归延迟瓶颈: 标准 LLM 从根本上受限于顺序性的自回归生成机制。为了成功地将复杂查询分解为互补的维度,现代模型通常需要大量的思考预算,即在输出实际搜索词之前,先生成数百个中间思维链(CoT)推理 token(即 AI 模型在回答复杂问题前生成的中间步骤或内部处理单元),以规划其扩展策略。虽然这种深思熟虑的推理对于对话式 AI 而言是可以接受的,但对于集合型搜索(例如检索一组互补的结果,如上文提到的流苏夹克或钩针连衣裙)却引入了严重的结构性瓶颈。当系统必须同时头脑风暴大量子查询时,持续上下文处理和生成长推理 token 的综合开销会导致性能急剧下降。即使采用先进的服务优化手段,这种逐 token 生成的架构也会形成一个延迟下限,这与生产环境搜索栏所需的亚秒级响应时间根本相悖。
Retrieve-for-Train 框架
Retrieve-for-Train 将 AI 的训练视为一次离线练习,而非在用户等待时临场作答的考试。它不再迫使 AI 每次有人输入查询时都缓慢摸索优质搜索的规则并消耗巨大的处理预算,而是运行一次离线强化学习(RL)训练程序。
该程序利用严格的奖励系统,将诸如“确保结果多样化且实际有货”等抽象目标转化为精确的分步操作手册。一旦构建好这份手册,AI 便能在真实搜索过程中即时执行,毫无延迟。
该流水线分为三个截然不同的步骤:
- 扇出语言模型训练: RL 训练一个扇出语言模型,使其生成符合属性要求的子查询,这些子查询由集合级属性检查奖励进行评分。这会对整个结果组进行整体评估,而不是孤立地对每个结果进行打分。
- 监督合成: 冻结的扇出语言模型完全离线地合成(查询 → 目标集)配对用于监督学习,无需人工标注。
- 扩散检索器训练: 一个紧凑的、拥有 53.9M 参数的扩散模型学习将查询嵌入直接映射到一组完整的目标嵌入中,通过单次非自回归过程完成,正式绕过了基于文本的思维链(CoT)推理 token 的需求。
面向集合的设计:复合奖励的力量
Retrieve-for-Train 框架的成功完全取决于我们如何定义“良好”的搜索行为。传统的监督训练通过学习排序来评估逐点相关性,孤立地对每个检索到的项目进行评分。然而,真正专业的搜索结果列表是由不可分解的集合级属性定义的。你无法衡量单个项目的多样性或互补性;这些属性仅在评估整个检索结果集合时才在数学上存在。
Retrieve-for-Train 不依赖模糊的自然语言指令来强制实施这些扇出属性,而是使用严格的数学复合奖励,通过强化学习微调 4B 开源语言模型(Gemma3-4B 和 Qwen3-4B)。对于我们的开放式抽象检索任务,这种复合奖励是三个相互竞争的支柱之间的加权平衡:
- Groundedness(落地性): 惩罚与数据库流形的距离,确保每个生成的子查询都对应数据库中真实、可检索的条目。
- Diversity(多样性): 使用针对整个子查询集合计算的 Vendi Score 进行衡量,迫使模型探索广泛的语义广度。
- Alignment(对齐性): 将候选子查询锚定到原始的宽泛提示词上,以防止语义漂移。
相互反锚点与软 GRPO 训练
在训练过程中,我们利用带有软 近端策略优化 (PPO) 的 组相对策略优化 (GRPO),针对这些几何现实对扇出语言模型进行优化。
这一特定的奖励三元组至关重要,因为它们充当了相互的反锚点。如果仅针对 Groundedness 优化模型,它将通过生成退化的、无意义的字符串来“奖励黑客”系统,而这些字符串恰好能在数学上映射到特定的数据库坐标。如果添加 Alignment 以修复无意义内容,策略则会通过坍缩为用户提示词的重复释义来作弊。
通过注入 Vendi Score 作为反锚点,Retrieve-for-Train 有效地堵住了这些捷径解法。为了达到高奖励状态,策略被迫进入嵌入空间的一个平衡区域,在此区域内,它必须发现有效、严格落地且语义上与原始意图截然不同的变体。
实验
为了评估 Retrieve-for-Train 框架,我们结合了冻结的、特定于数据集的多模态嵌入骨干网络以及针对查询扩展优化的 开源语言模型。我们在两种不同的集合值检索机制下评估了这一设置:
- 开放式抽象检索: 一种不存在唯一真值的场景,其质量完全由集合级属性来衡量,包括多样性、查询对齐性和数据库落地性。
- 弱监督组合检索: 一种查询与弱参考集配对的场景,该参考集仅作为查询意图的一种可能实现方式。
[注:本文篇幅超长,以上为核心前篇精译,后续内容保留原文呈现]
For the multimodal embedding backbones, we conducted experiments across two domains: A large-scale fashion dataset of user-curated outfits used for text-to-image experiments (evaluated using a CLIP-based retriever), and a proprietary industrial dataset of expert-generated music playlists used for text-to-music evaluations (evaluated using MuLan).
For the language models, the query fan-out process was driven by 4B open-source models, specifically Gemma3-4B and Qwen3-4B, which were tasked with generating exactly 10 sub-queries for every single main search prompt they processed. We implemented the RL training for these fan-out models via Soft-GRPO, an approach that uses group relative policy optimization with soft PPO regularization.
Results
Retrieval quality and accuracy
Across both retrieval tasks, Retrieve-for-Train outperformed traditional single-query search, zero-shot expansion, and even the heavily optimized Best-of-N baseline.
Qualitatively, zero-shot LLM baselines tended to generate near-synonymous paraphrases (e.g., "bohemian festival style" vs. "bohemian festival fashion"), causing redundant results. Retrieve-for-Train generated highly diverse, distinct sub-queries (e.g., branching into "boots" or "lace") that remained strictly grounded within the database manifold.
Order-of-magnitude faster inference
Directly deploying our RL-tuned language model yielded exceptional search quality, but it inherited standard autoregressive latency constraints and demanded a high computational thinking budget.
By distilling that learned behavior into the 53.9M-parameter Retrieve-for-Train diffusion model, we successfully smashed the latency bottleneck. Because the diffusion model generates all target directions simultaneously in a single, non-autoregressive parallel pass in continuous embedding space, it delivers a massive 12 to 20 speedup over autoregressive approaches.
At scale, while autoregressive fan-out latency expands linearly to nearly 50 seconds under large context batches, Retrieve-for-Train-Diffusion stays between sub-second to a few seconds, delivering production-ready, expert-level search at a fraction of the computational cost.
The anti-hacking anchor (ablation insights)
During our reward optimization process, we discovered something fundamental about training a fan-out language model for search. Without a diversity term, the model quickly collapses into generating degenerate, nonsensical strings (like "line ending line ending") to mathematically exploit the vector coordinates of the database. Injecting a geometric diversity metric (the Vendi Score) acts as a vital counter-anchor, forcing the model into a stable region of the embedding space where it can only maximize its reward by acting like a true search expert.
Conclusion
We demonstrated that RL can be highly effective when used as a one-time "objective transducer" rather than an online inference engine. By decoupling the heavy computation of reward-driven behavior exploration from the final deployed model, our framework successfully bypasses the steep inference latency and high computational overhead typical of online LLM deployment.
Distilling these complex, set-level behaviors into a lightweight diffusion prior allows production retrieval systems to optimize for higher-order properties like diversity and alignment effectively. Ultimately, Retrieve-for-Train establishes a highly scalable, data-efficient pipeline for set retrieval in specialized or multimodal domains where human-labeled, property-aligned training pairs are otherwise scarce or costly to obtain. See the paper for more details.