Apple Machine Learning ResearchT1·78 分
CMU 提出 SSR 框架:将多模态搜索推理转为候选选择,小模型延迟降 90%
原标题:Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents
- SSR 将开放式推理重构为从预定义候选集中进行的选择任务,消除了长文本生成的开销。
- 利用共享上下文 KV Cache 并行计算候选项的 Token 似然值,实现无辅助头的快速评分。
- 在 2B/4B 小模型的多模态搜索基准测试中,推理延迟降低超 90%,且未牺牲任务成功率。