OpenAI 提出基于计数的深度强化学习探索方法
OpenAI 研究团队发现,将经典计数探索算法简单泛化至高维状态空间,可在连续控制和 Atari 游戏中达到接近 SOTA 的性能。该方法通过伪计数估计访问频率,为需要大量探索的马尔可夫决策过程提供了简洁且强大的基线方案。
关联知识实体
报道正文
本文目录3 个章节
#探索:基于计数的深度强化学习探索研究

加载中…
摘要
已知基于计数的探索算法在与表格型强化学习(RL)方法结合使用,以解决小型离散马尔可夫决策过程(MDP)时,能够表现出接近最优的性能。人们普遍认为,基于计数的方法无法应用于高维状态空间,因为大多数状态只会发生一次。近期的深度 RL 探索策略通过复杂的启发式方法处理高维连续状态空间,通常依赖于“面对不确定性时的乐观主义”或内在动机。在本工作中,我们描述了一个令人惊讶的发现:经典基于计数方法的简单泛化可以在各种高维和/或连续的深度 RL benchmark 上达到接近 state-of-the-art 的性能。我们将状态映射为哈希码,从而允许使用哈希表统计其出现次数。随后,根据经典的基于计数的探索理论,利用这些计数来计算奖励加成。我们发现,简单的哈希函数在许多具有挑战性的任务上都能取得出人意料的良好结果。此外,我们表明,领域相关的学习型哈希码可以进一步改善这些结果。详细分析揭示了良好哈希函数的两个重要方面:1)具有适当的粒度;2)编码与解决 MDP 相关的信息。这种探索策略在连续控制任务和 Atari 2600 游戏上均达到了接近 state-of-the-art 的性能,因此为解决需要大量探索的 MDP 提供了一个简单而强大的 baseline。
作者
Haoran Tang, Rein Houthooft, Davis Foote, Adam Stooke, Xi Chen, Yan Duan, John Schulman, Filip De Turck, Pieter Abbeel