在线强化学习框架提升 iOS UI 导航智能体鲁棒性Apple Machine Learning ResearchT1·智能体与协同

在线强化学习框架提升 iOS UI 导航智能体鲁棒性

原标题：Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live iOS Apps

78AI 研判分

针对前沿视觉语言模型成本高及小模型易过拟合静态轨迹的问题，提出一种在真实 iOS 应用上直接训练的在线强化学习框架。该框架将智能体解耦为规划与接地模块，利用 LLM-as-a-Judge 提供密集奖励信号，并引入 GiGPPO 算法优化价值估计稳定性，显著提升了智能体在动态界面中的错误恢复能力。

报道正文

前沿视觉-语言模型在用户界面（UI）导航方面展现出强大的能力，但其高昂的推理成本阻碍了日常使用。相反，通过监督微调（SFT）或离线强化学习训练的小型模型往往只是记忆静态轨迹，导致执行过程脆弱且无法从错误中恢复。为解决这些局限性，我们提出了一种新颖的在线强化学习框架，直接在实时 iOS 应用上训练 UI 导航智能体。我们的框架将智能体解耦为两个专门组件：规划智能体（Planning agent）和 UI 定位模型（UI Grounding model）。我们依赖“LLM-as-a-Judge”提供全面的奖励信号，结合用于评估中间进度的密集步级反馈以及用于整体任务完成的终端奖励。为了有效利用这种双重奖励结构，我们采用带有步级优势估计的近端策略优化（PPO）来优化智能体。此外，我们引入了 GiGPPO，这是一种新颖的邻居条件价值估计方法，通过利用并发轨迹中视觉相似状态的奖励信号来提高 Critic 的稳定性。为了支持这种大规模在线训练范式，我们引入了一套高效的基础设施，可编排数百个并发的虚拟 iOS 设备。在包括 UINavBench、iOSWorld 和 AndroidWorld 在内的严格基准测试中的评估表明，经过在线 RL 训练的智能体显著优于 SFT 和仅基于终端奖励的 RL 基线，同时加速了训练收敛。值得注意的是，我们的 8B RL 智能体在面向 Android 环境的分布外泛化能力上比 SFT 基线提升了近七倍，同时在真实 iOS 应用上的表现超过了 Gemini-3.5-Flash，并与 Gemini-3.1-Pro 持平。

- 同等贡献

报道正文

相关阅读与更新。