阿里 Neos 开源 9B 多模态搜索智能体追平闭源

多模态搜索Agent学会了“眼见为实”

Neos团队 投稿

量子位 | 公众号QbitAI

做多模态深度搜索研究，最烦恼的问题通常是持续获取新视觉证据，避免图文信息冗余。

理想的搜索系统应能根据用户描述精准定位多模态证据，并高效筛选、整合在线信息。通过向智能体提供精简、高质量的证据，小参数模型也有望实现接近顶尖闭源模型的搜索能力。

来自阿里巴巴Accio团队、复旦大学和上海创新研究院的研究团队据此提出Neos，将数据构造、过程奖励与智能体的环境协同进化纳入统一的训练框架。

**△**Neos-9B、Neos-35B与其他方法在四项代表性搜索基准上的表现。

团队针对性地做了以下实验：给Agent一张乐队演出照片，让它找出这支乐队在1967年录制某张专辑时所用录音机的旋钮数量。

Neos先通过反向图像搜索识别出披头士，再沿专辑录制信息找到Studer J37。第一次裁剪确认了5个旋钮，智能体回顾上一次搜索返回中机器上疑似右侧有一个独立的旋钮，继续查阅网页并补充照片，最终确认右侧还有1个，得到答案「6」。

**△**从演出照片出发，逐步获取并核验录音机面板的视觉细节。

这种搜索途中继续补全证据、提高准确性的方法，正是Neos的研究重点。

数据构造：让中间视觉证据成为解题所需

Neos从知识图谱出发构造多跳推理任务，在推理结构中安排视觉入口和中间视觉检查点。模型需要先辨认图像中的对象或细节，才能继续追查后续关系，使搜索中获得的视觉信息真正影响下一步决策。

**△**构造视觉依赖、核验图像、筛除捷径，再收集经过验证的专家轨迹。

图像核验采用「盲式」设置：观察模型看不到目标身份和预期答案，只能根据完整图像与局部裁剪描述内容，再与包含干扰项的候选集合匹配。随后，问题重写会移除泄露实体身份的名称与操作提示，保留必要的关系约束和视觉依赖。

四阶段过滤进一步排除捷径。系统依次尝试纯文本直答、纯文本搜索、仅看入口图的VQA，以及短预算多模态搜索；任一方式能够解题，候选任务就会被剔除。前三项筛查绕过中间视觉获取的路径，最后一项控制任务难度。

通过筛选的问题交给专家模型在真实搜索环境中求解。验证后的成功轨迹用于policy的SFT，并作为后续credit assignment的参考；其中的局部工具交互则用于训练证据接口。这样，同一条调查轨迹可以同时提供决策与证据处理两类监督。

Credit assignment：成功轨迹自由探索，失败轨迹也能学到东西

只根据最终答案给奖励，容易把一次失败中的正确搜索、有效观察和关键错误混在一起。Neos的reference-guided credit assignment对成功与失败轨迹分别处理：成功轨迹保留常规的组相对优势，鼓励多样的解题路线；失败轨迹借助经过验证的成功参考，定位真正走偏的步骤。

**△**定位关键错误、衰减后续影响，并保留有效探索与纠错的正向奖励。

这可以理解为「好学生自由发挥，没答对的先借助成功解法订正思路」。评判模型结合每一步当时可见的证据，区分找错对象、误读图片，以及沿着既有错误继续搜索等情况。

关键错误受到惩罚，其后续影响随距离衰减；有效探索与self-correction则得到奖励。一旦模型纠正了错误，先前错误的传播就会停止。这让一次失败调查中有价值的局部行动仍能被强化，例如找到关键图片、提出有效查询，或主动补充证据。

MEI与协同进化：让搜索策略和证据接口一起学习

网页与图像检索往往返回大量冗余内容，需要辅助模型筛选、压缩后再交给policy。Neos将这一层设计为可训练的Multimodal Evidence Interface（MEI），嵌入WebVisit、ImageSearch和ReverseImageSearch，使证据处理能够随搜索策略持续改进。

**△**Policy RL与MEI SFT交替更新，在线交互同时提供两类训练信号。

调用工具时，policy会说明当前想解决的局部问题。MEI围绕这个目标提取网页证据、筛选并排序图片，或判断视觉匹配关系，再返回结构化文本和图像引用。Policy据此选择下一步行动，需要时继续取图、裁剪和核验。

Neos以Qwen3.5-9B和Qwen3.5-35B-A3B为policy backbone，MEI采用独立的Qwen3.5-9B。监督初始化后，两者进入交替训练：policy根据答案正确性与过程信用进行RL，MEI则从在线交互中筛选有效调用进行SFT。成功轨迹贡献有效MEI调用，失败轨迹只贡献有助于推进或纠错的调用。

Policy的变化会带来新的证据需求，MEI的更新又会改变后续搜索所能获得的观察。两者通过在线反馈相互适应，形成「获取证据—调整决策—改进证据处理」的闭环。

十项基准：小模型追近前沿表现

Neos的评测覆盖事实视觉问答、多模态检索和复杂浏览任务，并比较无工具直答、接入搜索工作流，以及专项训练后的表现。

Neos-9B/35B的平均分达到60.7/64.7，相对各自未经专项训练的工作流基线提高17.4/15.5个百分点。其中，Neos-9B已超过DeepVoyager-VL-30B-A3B的58.6分。

在复杂搜索任务上，Neos-35B的MMSearch-Plus、MM-BrowseComp和BrowseComp-V3成绩分别为52.7、48.3和47.0，比DeepVoyager-VL-30B-A3B提高12.1、17.8和12.0个百分点。其十项均分距Gemini-3.1-Pro工作流的67.1分仅差2.4个百分点；在BrowseComp-VL上，以66.4与GPT-5.6-Sol工作流持平。

三组关键消融

数据构造：仅用1K合成数据，在BrowseComp-VL、MMSearch-Plus和FVQA上，就比使用1.1K REDSearcher-MM数据训练的模型分别高出1.5、4.3和1.0个百分点。

Credit assignment：仅用终局奖励的GRPO在三个基准上均低于cold-start SFT；完整过程奖励相对GRPO在BrowseComp-VL、MM-BrowseComp和FVQA上分别提升3.6、4.2和5.0个百分点。

协同进化：相对冻结已适配的MEI，交替训练在MMSearch-Plus、BrowseComp-V3和VDR-Bench上仍提升0.7、0.7和1.0个百分点，体现持续适应policy的额外收益。

工具调用减少约32%

从首个到最后一个RL更新窗口，Neos-9B每条轨迹的平均工具调用次数由29.7降至20.2。同时，WebVisit的调用占比由21.2%升至32.1%，图像搜索、反向搜索、取图和裁剪的合计占比由约19.1%升至23.4%。整体调用减少，阅读来源页面与核验视觉证据的相对权重提高。

**△**训练过程中，工具调用更集中，视觉证据相关操作的相对比重提高。

从识别乐队到核验录音机的最后一个旋钮，Neos展示了小模型在持续视觉调查中的潜力：让关键图像进入推理过程，让有效探索获得训练信号，再让搜索策略与证据接口共同改进。

GitHub：https://github.com/Accio-Lab/Neos Homepage：https://Accio-Lab.github.io/Neos/

一键三连*「点赞」「转发」「小心心」***

欢迎在评论区留下你的想法！

— 完 —

【学术投稿】请在工作日发送邮件至：[email protected]，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目/主页链接，以及联系方式。

🎓 我们会 (尽量) 及时回复你 :)

🌟 点亮星标 🌟

科技前沿进展每日见

阅读原文

跳转微信打开