返回全部资讯
OpenAI 官方博客T1·基座大模型

DeepMind Retro Contest 结果:PPO 与 Rainbow 算法在 Sonic 基准表现最佳

原标题:Retro Contest: Results
35AI 研判分

DeepMind 公布首届 Retro Contest 结果,旨在探索强化学习中的快速泛化能力。尽管尝试了多种方法,最终胜出方案均基于对现有算法(如 PPO 和 Rainbow)的调优或扩展,而非全新架构。该比赛验证了 Sonic 基准作为通用机器学习问题测试平台的有效性,但当前最高得分仍远低于理论上限,显示领域仍有巨大提升空间。

报道正文

本文目录12 个章节

我们首届 Retro Contest——探索能够从过往经验中泛化的算法开发——现已圆满结束。

尽管尝试了多种方法,但顶尖成绩均来自对现有算法(如 PPO 和 Rainbow)的调优或扩展。前路漫漫:训练后的最高得分为 4,692,而理论上限为 10,000。这些结果验证了我们的 Sonic 基准测试是社区值得深耕的一个良好问题:获胜方案采用的是通用的机器学习方法,而非针对竞赛的特制技巧,这表明无法通过作弊手段解决该问题。

Image 1: Screenshot of a Sonic the Hedgehog video game.

在为期两个月的比赛中,共有 923 支队伍注册,229 支队伍向排行榜提交了解决方案。我们的自动评估系统共对提交的算法进行了 4,448 次评估,相当于每支队伍约提交 20 次。参赛者可以看到他们的分数在排行榜上上升,该排行榜基于我们使用关卡编辑器创建的五个低质量关卡组成的测试集。你可以点击排行榜条目⁠(opens in a new window),观看智能体在其中某个关卡上的表现。

Image 2: Graph of leaderboard score over days

由于参赛者可以通过分数以及智能体在关卡上测试的视频获得反馈,他们很容易过拟合于排行榜测试集。因此,我们在最终评估中使用了完全不同的测试集。一旦提交截止,我们选取了前十名参赛者的最新提交版本,并让他们的智能体接受由资深关卡设计师制作的 11 个自定义 Sonic 关卡的测试。为了减少噪声,我们对每位参赛者在每个关卡上进行了三次评估,并使用不同的环境随机种子。在这次最终评估中,排名发生了变化,但变化幅度不大。

顶尖得分

得分最高的前 5 支队伍如下:

RankTeamScore #1 Dharmaraja 4692 #2 mistake 4446 #3 aborg 4430 #4 whatever 4274 #5 Students of Plato 4269 Joint PPO baseline 4070 Joint Rainbow baseline 3843 Rainbow baseline 3498

Dharmaraja 在竞赛期间一直占据积分榜首位,并在最终评估中保持领先;mistake 险胜 aborg 获得第二名。前三名队伍将获得奖杯。

Image 3: Trophies Three 2000

以下是前三名队伍在所有 11 个关卡中的学习曲线(展示了基于三次运行计算的标准误差)。

Image 4: Learning Curves Averaged Over 3 Trials

对所有关卡取平均值后,我们可以得到以下学习曲线。

Image 5: Learning Curves Averaged Over 11 Levels And 3 Trials

请注意,Dharmaraja 和 aborg 的初始得分相近,而 mistake 的初始得分则低得多。正如我们在下文将更详细地描述的那样,这两支队伍是从预训练网络进行微调(使用 PPO),而 mistake 则是从零开始训练(使用 Rainbow DQN)。mistake 的学习曲线提前结束,是因为他们在 12 小时时超时。

认识获胜者

Dharmaraja

Dharmaraja 是一支由六名成员组成的团队,包括 Qing Da、Jing-Cheng Shi、Anxiang Zeng、Guangda Huzhang、Run-Ze Li 和 Yang Yu。Qing Da⁠(opens in a new window) 和 Anxiang Zeng 来自中国杭州阿里巴巴搜索部门的人工智能团队。近年来,他们与南京大学计算机系副教授 Yang Yu⁠(opens in a new window) 一起,研究了如何将强化学习应用于现实世界问题,特别是在电子商务场景中。

Dharmaraja 团队的解决方案是联合 PPO(Joint PPO)的一个变体(详见我们的技术报告⁠(在新窗口中打开)),并包含几项改进。首先,它使用 RGB 图像而非灰度图像;其次,它采用了略微增强的动作空间,包含了更常见的按键组合;第三,它使用了增强后的奖励函数,该函数会根据屏幕的感知哈希值(perceptual hash)判断智能体是否访问了新状态,并对此给予奖励。除了这些修改之外,团队还尝试了一些未获成功的方法:DeepMimic⁠(在新窗口中打开)、通过 YOLO⁠(在新窗口中打开) 进行目标检测,以及一些针对《索尼克》游戏的特定想法。

Mistake

Mistake 团队由 Peng Xu 和 Qiaoling Zhong 组成。两人均为中国北京的二年级研究生,就读于中国科学院计算技术研究所的网络数据科学重点实验室。在业余时间,Peng Xu 喜欢打篮球,而 Qiaoling Zhong 则喜欢打羽毛球。他们最喜欢的电子游戏是《魂斗罗》(Contra)和《马里奥》(Mario)。

Mistake 团队的解决方案基于 Rainbow 基线模型。他们进行了多项有助于提升性能的修改:优化了 n-step Q-learning 中的 n 值;在模型中增加了一个额外的 CNN 层,这虽然使训练速度变慢,但提升了效果;以及降低了 DQN 的目标网络更新间隔。此外,团队还尝试了与 Rainbow 进行联合训练,但发现这在他们的情况下实际上损害了性能。

Aborg

Aborg 团队是 Alexandre Borghi 的个人项目。Alexandre 于 2011 年完成计算机科学博士学位后,曾在法国的不同公司工作,随后移居英国,目前担任深度学习研究工程师。作为一名电子游戏和机器学习爱好者,他将大部分空闲时间用于研究深度强化学习,这也促使他参加了 OpenAI Retro Contest。

Aborg 的解决方案与 Dharmaraja 的方案类似,都是联合 PPO(Proximal Policy Optimization)的一种变体,并包含多项改进:使用了来自 Game Boy Advance 和 Master System《索尼克》游戏的更多训练关卡;采用了不同的网络架构;以及专为快速学习而设计的微调超参数。关于最后一点,Alexandre 注意到微调的前 150K 时间步不稳定(即性能有时会下降),因此他调整了学习率以解决这一问题。除了上述改动外,Alexandre 还尝试了几种无效的方案:不同的优化器、MobileNetV2⁠(opens in a new window)、使用彩色图像等。

最佳技术文章奖

最佳技术文章奖授予那些撰写了高质量文章、详细描述其所尝试方法的参赛者。

接下来,让我们认识一下该奖项类别的获奖者。

Dylan Djian

Dylan 目前居住在法国巴黎。他是巴黎 42 学校⁠(opens in a new window) 软件开发专业的学生。一年半前,他在观看了一段a video⁠(opens in a new window)后开始接触机器学习,视频中展示了一个遗传算法学习如何玩《超级马里奥》的过程。这段视频激发了他的兴趣,促使他想要更深入地了解这一领域。他最喜欢的电子游戏是《塞尔达传说:黄昏公主》和《魔兽世界》。

Oleg Mürk

Oleg Mürk⁠(opens in a new window)来自旧金山湾区,但原籍为爱沙尼亚塔尔图。白天,他作为 Planet OS 的首席架构师从事分布式数据处理系统的工作。在空闲时间,他会“花费过多资金”租用 GPU,以便在 TensorFlow 中运行深度学习实验。Oleg 喜欢旅行、徒步和风筝冲浪,并打算在未来 30 年内最终学会冲浪。他最喜欢的电脑游戏(也是他唯一通关的游戏)是《德军总部 3D》(Wolfenstein 3D)。他的宏大计划是在未来 20 年内开发出一个自动化程序员,然后退休。

Felix Yu

Felix 是一位居住在香港的创业者。他最初接触机器学习是在一个学校项目中,当时他应用 PCA(主成分分析)来分析股票数据。在从事创业工作数年后,他在 2015 年底重新投身于机器学习领域;如今他已成为一名活跃的 Kaggle 竞赛选手,并在计算机视觉和强化学习方面完成了多个个人项目。

最佳辅助材料

本次竞赛带来的最大收获之一,是看到参赛者之间互相帮助。许多人贡献了入门指南、实用脚本,并为其他参赛者提供故障排查支持。

Tristan Sokol

经验教训与下一步计划

竞赛有潜力颠覆当前关于“什么方法最有效”的主流共识,因为参赛者会尝试多种不同的方法,而最终胜出的将是表现最好的那一种。在本次特定竞赛中,表现最佳的方案与我们 OpenAI 团队在竞赛前发现的成功方法并没有根本性的差异。

我们很高兴看到许多顶尖解决方案利用了迁移学习,即从训练关卡进行微调。然而,令我们惊讶的是,一些顶级提交仅仅是我们基线算法经过调优后的版本。这凸显了超参数的重要性,尤其是在 Rainbow DQN 等强化学习算法中。

我们计划在几个月后启动新一轮的竞赛。我们希望并预期,随着大家已经了解竞赛情况并开始深入思考强化学习中快速学习和泛化的问题,一些更为另辟蹊径的方法将在第二轮中取得成功。届时再见,我们期待见证你们的创新方案在排行榜上不断攀升。

Gotta Learn Fast