OpenAI 与牛津提出 LOLA:强化学习智能体通过建模他者心智优化策略
OpenAI 与牛津大学联合提出 LOLA(Learning to Model Other Minds)算法,使强化学习智能体能预测并影响其他智能体的参数更新过程。该方法让智能体在迭代囚徒困境等博弈中自发发现互惠合作策略,突破了传统独立 PPO 等方法难以形成有效协作的局限。
报道正文
LOLA 是由 OpenAI 和牛津大学的研究人员合作开发的一项技术,它允许强化学习(RL)智能体在更新自身策略时考虑其他智能体的学习过程。每个 LOLA 智能体都会调整其策略,以塑造其他智能体的学习方式,从而使其对自己有利。这是可行的,因为其他智能体的学习依赖于环境中产生的奖励和观测值,而这些因素反过来又受到该智能体的影响。
这意味着 LOLA 智能体“Alice”会对另一个智能体“Bob”的参数更新如何依赖于 Alice 自身的策略进行建模,并评估 Bob 的参数更新如何影响 Alice 未来的预期回报。随后,Alice 会更新自身的策略,以使像 Bob 这样的其他智能体的学习步骤更有利于实现 Alice 的目标。
LOLA 智能体能够在诸如迭代_囚徒困境_(在新窗口中打开)或硬币游戏(在新窗口中打开)等博弈中发现有效的互惠策略。相比之下,独立 PPO 等最先进的深度强化学习方法在这些领域中无法学习到此类策略。这些智能体通常学会采取自私的行为,忽视其他智能体的目标。LOLA 通过让智能体基于一种包含他人目标的自利动机来行动,解决了这一问题。此外,LOLA 无需依赖手工设计的规则,也不需要专门设置为鼓励合作的环境即可运行。
LOLA 的灵感来源于人类之间的协作方式:人类擅长推理自己的行为如何影响他人的未来行为,并经常发明出能带来双赢局面的协作方法。人类善于彼此合作的原因之一在于他们拥有对他人的“心智理论”(theory of mind),这使他们能够制定出有利于合作者的策略。迄今为止,这种“心智理论”表征一直缺失于深度多智能体强化学习中。对于最先进的深度 RL 智能体而言,另一个学习智能体与环境的一部分(例如一棵树)之间没有本质区别。
LOLA 性能的关键在于引入了以下项:
LOLA 使我们能够训练出在硬币游戏(opens in a new window)中取得成功的智能体。在该游戏中,两个智能体(红色和蓝色)相互竞争,以拾取红、蓝两色的硬币。每个智能体拾取任意一枚硬币均可得 1 分,但如果拾取了非自身颜色的硬币,则另一智能体将受到 –2 分的惩罚。因此,如果两个智能体都贪婪地拾取所有硬币,平均而言双方都将得零分。LOLA 智能体学会了主要拾取与自身颜色相同的硬币,从而获得高分(如上图所示)。