返回全部资讯
OpenAI 官方博客T1·基座大模型

OpenAI 提出单样本模仿学习框架

原标题:One-shot imitation learning
68AI 研判分

OpenAI 团队提出“单样本模仿学习”(One-shot Imitation Learning)元学习框架,旨在让机器人仅通过极少演示即可掌握新任务并即时泛化。该方法利用神经网络将参考演示与当前状态作为输入,在大规模任务集上训练,显著降低了对特征工程和大量样本的依赖。这一研究为少样本场景下的机器人自主技能获取提供了新的技术路径。

报道正文

本文目录2 个章节

摘要

模仿学习通常被用于孤立地解决不同任务。这往往需要精细的特征工程或大量的样本数据。然而,我们期望的理想情况是:机器人能够从极少数的演示中学习任何给定任务,并立即泛化到同一任务的新情境中,而无需进行特定于任务的工程调整。在本文中,我们提出了一种实现这种能力的元学习框架,我们称之为单样本模仿学习(one-shot imitation learning)。

具体而言,我们考虑这样一个设定:存在一个非常大的任务集合,且每个任务都有许多实例。例如,一个任务可能是将桌上的所有积木堆叠成一座塔,另一个任务可能是将桌上的所有积木放置成两座双块塔等。在每种情况下,任务的不同实例由具有不同初始状态的不同积木集合组成。在训练阶段,我们的算法接收来自部分任务子集的演示对。神经网络被训练以接受一个演示和当前状态(初始时为配对中另一个演示的初始状态)作为输入,并输出一个动作,其目标是使生成的状态-动作序列尽可能与第二个演示匹配。在测试阶段,向模型展示一个新任务单个实例的演示,预期该神经网络能在新任务的新实例上表现良好。软注意力机制的使用使得模型能够泛化到训练数据中未见过的条件和任务。我们预计,通过在更多样化的任务和场景中训练此模型,我们将获得一个通用系统,能够将任意演示转化为稳健的策略,从而完成极其广泛的任务。

视频可在此处查看(在新窗口中打开)。

作者

Yan Duan, Marcin Andrychowicz, Bradly Stadie, Jonathan Ho, Jonas Schneider, Ilya Sutskever, Pieter Abbeel, Wojciech Zaremba