OpenAI 发布元学习摔跤研究:多智能体快速适应
OpenAI 于 2017 年发表关于“元学习用于摔跤”的研究,展示了在多智能体对抗环境中应用元学习算法实现快速策略适应的能力。该工作通过模拟环境验证了智能体在面对对手变化时能迅速调整行为,为强化学习中的泛化与适应性提供了早期实证支持。
报道正文
- 研究
- 产品
- 企业
- 开发者
- 公司
- 基金会(在新窗口中打开)
- 研究
- 产品
- 企业
- 开发者
- 公司
- 基金会(在新窗口中打开)
OpenAI
2017年10月11日
用于摔跤的元学习

加载中…
分享
我们证明,在模拟机器人摔跤任务中,元学习智能体能够迅速击败更强的非元学习智能体;同时我们还表明,该元学习智能体能够适应物理故障。
加载中...
我们扩展了模型无关元学习 (MAML)(在新窗口中打开)算法,将其目标函数基于针对成对环境进行优化,而非像标准 MAML 那样仅针对单个环境。MAML 初始化我们的智能体策略,使得智能体在新环境(或任务)中执行时,仅需少量参数更新即可在该环境中表现更好。执行期间的策略参数更新是通过梯度上升步骤完成的,利用的是在与新环境初始交互的少数几个回合中收集到的奖励。通过成对训练,我们能够创建快速适应先前未见环境的策略,只要这些环境与之前的环境没有过于剧烈的差异。
加载中...
为了测试我们的持续适应方法,我们设计了三种类型的智能体——蚂蚁(4 腿)、虫子(6 腿)和蜘蛛(8 腿),并设置了一个多轮游戏。在该游戏中,每个智能体与同一对手进行多场比赛,并在回合之间调整其策略参数,以更好地应对对手的策略。在测试中我们发现,能够调整战术的智能体比采用固定策略的智能体具有更强的竞争力。经过对上百个智能体的训练(其中一些学习到了固定策略,另一些则学会了适应),我们对每个智能体的适应度进行了评估。
即时学习还能让智能体应对自身身体的异常变化,例如适应某些肢体随时间推移而丧失功能的情况。这表明我们可以利用此类技术开发出既能应对外部环境变化,又能处理自身身体或内部状态变化的智能体。
加载中...
作为我们在大规模多智能体研究工作中的一部分,我们正在探索元学习。此外,我们发布了本研究中使用的 MuJoCo 环境和训练好的策略(在新窗口中打开),以便其他人可以对这些系统进行实验。
作者
Maruan Al-Shedivat, Trapit Bansal, Ilya Sutskever, Yura Burda, Igor Mordatch, Pieter Abbeel