返回全部资讯
OpenAI 官方博客T1·基座大模型

RL²:用慢速强化学习训练快速适应算法

原标题:RL²: Fast reinforcement learning via slow reinforcement learning
78AI 研判分

OpenAI 提出 RL² 框架,将“快速”强化学习算法编码进循环神经网络(RNN)权重中。通过通用“慢速”RL 算法在大量任务上训练该 RNN,使其具备跨 Episode 记忆能力,从而在新环境中实现少样本快速适应。实验证明该方法在多臂老虎机及视觉导航等大规模任务中有效。

报道正文

本文目录2 个章节

摘要

深度强化学习(deep RL)在自动学习复杂行为方面取得了成功;然而,其学习过程需要大量的试验。相比之下,动物仅通过几次试验就能学会新任务,这得益于它们对世界的先验知识。本文旨在弥合这一差距。我们并未设计一种“快速”的强化学习算法,而是提出将其表示为循环神经网络(RNN),并从数据中学习该网络。在我们提出的方法 RL² 中,算法被编码在 RNN 的权重中,这些权重通过通用的(“慢速”)RL 算法缓慢学习。RNN 接收典型 RL 算法所需的所有信息,包括观测值、动作、奖励和终止标志;并且在给定的马尔可夫决策过程(MDP)中跨回合保留其状态。RNN 的激活值存储了当前(此前未见过的)MDP 上“快速”RL 算法的状态。我们在小规模和大尺度问题上对 RL² 进行了实验评估。在小规模方面,我们训练它解决随机生成的多臂老虎机问题和有限 MDP。经过训练后,RL² 在新 MDP 上的性能接近具有最优性保证的人工设计算法。在大尺度方面,我们在基于视觉的导航任务上测试了 RL²,并证明它可以扩展到高维问题。

作者

Yan Duan, John Schulman, Xi Chen, Peter L. Bartlett, Ilya Sutskever, Pieter Abbeel