OpenMobile-2 开源智能体逼近闭源性能

作者:Jonathan Kemper原标题:OpenMobile-2 proves open-source smartphone agents can rival proprietary models
78AI 研判分
核心综述

南京大学与商汤科技等机构发布 OpenMobile-2,基于 Qwen3.5/3.6 构建的开源手机智能体在多项基准中表现接近顶级闭源模型。研究指出,训练数据的多样性(覆盖不同 App)比单纯的数据量更能提升智能体能力,并提供了完整的复现环境与数据。

报道正文

本文目录3 个章节

仅靠更多数据并不能让智能手机智能体变得更好。在数据量相同的情况下,最关键的因素是智能体在多少个不同的应用上进行训练。

AI 智能体通过自主操作应用来学习,但它们所需的数据大多被大型公司垄断。来自南京大学、AI 公司商汤科技(SenseTime)及其他多所高校的研究人员指出,这导致开源模型的发展滞后。

OpenMobile-2 是他们试图缩小这一差距的尝试。他们发布了两个基于 90 亿参数的 Qwen3.5 和 270 亿参数的 Qwen3.6 构建的智能体模型,并公开了完整的训练环境、数据和复现指南。作者表示,他们的模型在当前智能手机智能体中名列前茅。

为什么重建 110 个应用比在真实应用上训练更有效

在真实应用上进行训练非常棘手,因为登录状态、实际购买行为以及无法重置状态使得过程成本高昂且难以重复。因此,研究人员重建了 35 个主要在中国流行的应用,包括淘宝、京东、滴滴和美团的版本,以及 Slack 和 Google Drive 等全球通用服务。结合现有的模拟器和在 Android 模拟器中运行的应用,这个练习场涵盖了超过 110 个应用程序。

图 1:左图展示了按类别划分的超过 110 个应用的概览,分为 63 个模拟器应用和 62 个模拟器应用;右图对比了仅使用滑动、点击和输入动作的纯 GUI 交互方式与一种混合方法,后者在共享应用状态上增加了如 list_order() 和 search_item() 等应用原生工具。

在混合模式下,智能体将常规的屏幕操作与应用直接作为工具暴露出的功能相结合。| 图片:Yan 等人

人工评审员将重建后的应用与原版进行对比,并持续优化,直到工作流和界面完全匹配。订单、预算和旅行计划等数据可在不同会话间持久保存,且应用之间可通过剪贴板传递数据。每次模拟都会自动重置到初始状态,而智能体仅能查看屏幕截图,无法访问应用的内部数据,这模拟了人类实际使用应用的方式。

基于这一设置,团队生成了约 11,600 个示例工作流和超过 2,000 个带有自动成功检查的练习任务。Google 的 Gemini 3.1 Pro 作为教师模型生成了这些示例,这意味着 OpenMobile-2 实际上是从一个封闭系统中学习。

图 2:展示重建应用的五个步骤:追踪用户流程、将其编码为 JSON 规范、围绕共享应用状态构建、回放并检查预期行为,以及交付带有回放检查的可复用应用。

对于每个重建的应用,研究人员预先定义哪些操作会改变哪些状态,然后自动验证结果。| 图片:Yan 等人。

真机性能提升最为显著

两个模型在既定基准测试中均显示出明显进步。在 AndroidWorld 上,较大模型的分数从 67.1 跃升至 79.9,而较小模型则从 54.3 提升至 74。前代产品 OpenMobile-1 在同一测试中的得分为 64.7。在更困难的 MobileWorld 基准测试中(涵盖跨多个应用的长任务),较大模型的分数从 35.9 提升至 50.4。

图 3:五个柱状图,比较 OpenMobile-9B 和 OpenMobile-27B 与 Qwen3.5-9B、Qwen3.6-27B、GUI-Owl-1.5-32B、UI-Venus-1.5、MAI-UI-32B 以及 Gemini-3.1-Pro 在 AndroidWorld、MobileWorld、MobileGym、MobileGym++ Hybrid 和 SPA-Bench 上的表现。

OpenMobile-2-27B 在 AndroidWorld 上取得 79.9 分,并在真实设备上的 SPA-Bench 测试中仅次于 Gemini 3.1 Pro。| 图片:Yan 等人。

最大的飞跃出现在真实 Android 设备上,较大模型在 SPA-Bench 上的得分从 31.9 攀升至 59.6。研究人员表示,这是开源模型中的最佳成绩。

训练环境的多样性在这里比单纯的数据量更为重要。研究人员保持数据总量不变,仅增加了智能体练习的应用数量,这将未见应用上的成功率从 60.7% 提升到了 67.5%。在相同的数据预算下,应用的多样性胜过来自少数几个应用的额外样本。

Image 4: Left: a line chart showing AndroidWorld success rates as training data is drawn from 15 to 53 apps. Right: a comparison of success rate and average step count with and without app-native tools for GUI-Owl, Qwen3.5-9B, and Qwen3.6-27B.

训练期间更高的应用多样性提升了模型在未见应用上的性能。经过混合训练后,模型更频繁地使用工具来解决问题,且所需步骤更少。| 图片来源:Yan 等人。

在此基础上进行的 强化学习 仅带来了有限的收益,主要是在与训练设置相似的环境中。在 AndroidWorld 上,较大的模型在此之后得分实际上略低,从 80.8 分降至 79.9 分。

直接命令让智能体跳过菜单迷宫

该研究的实验部分超越了点击和滑动的范畴。超过 50 个模拟应用提供了诸如“加入购物车”之类的直接命令,使智能体可以跳过通过菜单导航的过程,并且智能体会根据可用功能自由地在两种方法之间切换。

然而,单独来看,这并没有太大帮助,因为如果没有针对性的训练,模型往往会忽略这些捷径。一旦经过相关训练,智能体就能很好地使用它们,解决的任务数量最多可增加 10.3 个百分点,同时所需步骤减少约五步。研究人员表示,这种能力也能迁移到模型在训练过程中从未遇到过的工具上。

在随后的强化学习阶段,只要某次运行包含至少一个直接命令,工具使用就会获得奖励加成,尽管奖励仍然取决于任务是否真正完成。当智能体报告虚假的成功时,则会触发惩罚。目前,这些接口仅存在于模拟应用中,研究人员自己也称这种方法为实验性的。

部分结果来自团队自建的一个包含 215 项任务的基准测试,其中近半数任务涉及多个应用。任务完成情况的判定并非依赖语言模型,而是通过程序对比每次运行前后应用存储的数据来实现。作者还检查了训练任务与测试任务之间的重叠情况,发现仅有轻微相似性。

微软研究院在 2025 年的一项研究中已将 API 智能体归类为更可靠,而 GUI 智能体则更具灵活性,并指出移动应用是外部接口缺失的典型场景。Oppo 则采取了不同的路径,其开源智能体 X-OmniClaw 可在真实设备上运行,并通过 deeplink(深度链接)重放之前在淘宝或美团等应用中展示过的路径,而非再次点击菜单进行操作。在闭源模型中,谷歌已直接将智能手机控制功能集成到 Gemini 3.5 Flash 中,使模型能够查看并操作你的屏幕。