Apple Machine Learning Research · 2026/10/15 08:00:00
工具发现架构对比：先规划后检索在多工具复杂任务中显著优于传统方案
研究提出“先规划后检索”（PtR）范式，通过生成抽象工具存根作为查询来替代传统的“先检索后规划”（RtP）。在 ToolBench 大规模 API 注册表上的评估显示，虽然 RtP 在单工具简单任务中表现更佳，但 PtR 在多工具及跨类别复杂任务中具有显著优势。这种性能交叉点在不同检索预算、注册表规模及模型家族中均保持稳定，且可通过零成本信号实现自适应路由以平衡推理开销。
报道全文原始报道全文
工具增强型 LLM 智能体在执行规划前，需从大型注册表中发现相关 API，但有限的上下文窗口禁止将所有工具定义注入单个提示中。主流方法即我们所谓的“先检索后规划”（Retrieve-then-Plan, RtP），其通过嵌入用户查询并利用近似最近邻搜索来检索相似工具。我们研究了一种替代范式——“先规划后检索”（Plan-then-Retrieve, PtR）。在该范式中，LLM 首先生成抽象工具存根（Abstract Tool Stubs，即描述所需能力的假设函数签名），随后将这些存根作为针对注册表的检索查询。我们在 ToolBench（包含 46,984 个唯一 API 端点、50 个类别）上进行了评估，涵盖单工具（G1）、类内多工具（G2）和跨类多工具（G3）查询子集。我们发现存在一个明显的复杂度依赖交叉现象：在单工具查询上，RtP 优于 PtR；而在多工具查询上，PtR 优于 RtP。这一交叉现象在所有检索预算（k=1 到 20）下均成立，在从 1k 到 47k API 的不同注册表规模下具有鲁棒性，并且在不同模型家族（Gemini 2.5 Flash 和 gpt-oss-120b）中保持一致。我们刻画了一种“存根幻觉”失败模式（LLM 编造看似合理但不存在的 API 名称），该模式是一把双刃剑：在简单查询上，PtR 的存根抽象掉了 RtP 直接匹配的专有名词信号；但在复杂查询上，同一机制将多面意图分解为功能性子需求。我们进一步分析了 token 开销，表明 PtR 额外的发现调用大致使推理成本翻倍，这在多工具查询上是值得的，但在单工具查询上则有害，从而促使我们将复杂度自适应路由作为一个实际方向——这可以由管道中已存在的零成本信号（RtP 的 top-1 检索分数）驱动。