Apple Machine Learning Research · 2026/10/15 08:00:00
CMU 提出 SSR 框架：将多模态搜索推理转为候选选择，小模型延迟降 90%
原标题：Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents
78AI 研判分
核心综述
卡内基梅隆大学等机构提出“基于选择的结构化推理”（SSR）框架，旨在解决小参数多模态智能体在生成自由形式推理时效率低下的问题。该框架将高频推理模式预定义为可复用的自然语言候选项，使模型通过计算似然值直接进行选择而非从头生成。实验表明，在 2B 和 4B 规模模型上，SSR 在保持任务成功率的同时，将每轮推理延迟降低超过 90%，整体推理延迟降低 28-54%。
报道全文原始报道全文
多模态智能体通常会在执行每个动作前生成自由形式的推理过程。对于小型模型而言，有限的模型容量可能导致冗长的推理，这些推理不仅对动作生成的指导作用微乎其微，还会带来巨大的推理成本。为应对这一挑战，我们提出了基于选择的结构化推理（Selection-based Structured Reasoning, SSR）框架，该框架将推理重构为“选择”而非开放式生成。SSR 将反复出现的高层推理表示为预先指定的、可复用的自然语言候选项。在每一轮中，模型根据当前上下文下各推理候选项的似然值从中进行选择，无需辅助任务头。使用预定义的推理轨迹可实现并行评分：通过教师强制（teacher-forcing）预填充，利用共享的上下文 KV cache，并发计算候选项内部及跨候选项的 token 似然值。我们在七个多模态搜索基准测试上，使用 2B 和 4B 参数规模的模型评估了 SSR。在多种强化学习目标函数和监督微调设置下，SSR 在不牺牲任务性能的前提下显著提升了效率。SSR 的平均成功率可与同规模领先的搜索智能体相媲美，同时将每轮推理延迟降低超过 90%，并将每题总模型推理延迟降低 28–54%。
- † 卡内基梅隆大学
- ‡ 伊利诺伊大学厄巴纳-香槟分校
- ** 部分工作是在苹果公司期间完成的
- *** 工作是在苹果公司期间完成的