OpenAI 研究员 Lilian Weng 访谈:展望 AGI 赋能科学与物理交互,回顾机械手魔方项目
OpenAI 应用 AI 研究员 Lilian Weng 在访谈中阐述了对通用人工智能(AGI)的愿景,认为其将大幅提升生产力、加速科学发现并实现安全的物理世界交互。她回顾了 OpenAI 机器人团队利用深度强化学习和域随机化技术成功让单只机械手解决魔方问题的里程碑式工作。该观点强调了 AI 从数字智能向具身智能及科研辅助延伸的战略方向。
报道正文
本文目录7 个章节
Lilian Weng 在 OpenAI 从事应用 AI 研究(Applied AI Research)。
你对 AI 的未来最兴奋的是什么?
通用人工智能(AGI)应该在大多数具有经济价值的工作上超越人类。我期待看到 AGI 以以下方式帮助人类社会:
-
完全自动化或显著减少人类在重复性、非创新性任务上的投入。换句话说,AGI 应大幅提升人类的生产力。
-
极大地加速新科学突破的发现,包括但不限于通过提供额外的分析和信息来辅助人类的决策过程。
-
有效、高效且安全地理解并与物理世界进行交互。
你在 OpenAI 参与过的项目中,哪些让你最为自豪?
在 OpenAI 的前两年半里,我在机器人团队致力于一个“登月计划”式的想法:我们想要训练一只单一的、类人的机械手来解决魔方。这是一次极其令人兴奋、充满挑战且情感丰富的经历。我们通过深度强化学习(RL)、大量的域随机化(domain randomization)以及不使用任何真实世界训练数据,解决了这一挑战。更重要的是,我们以团队的形式征服了这一难题。
从仿真和 RL 训练到视觉感知和硬件固件,我们紧密而协调地协作。这是一项惊人的实验,在那段时间里,我经常想起史蒂夫·乔布斯的现实扭曲力场(opens in a new window):当你强烈地相信某件事并坚持不懈地推动它时,你总能以某种方式将不可能变为可能。
自 2021 年初以来,我开始领导应用 AI 研究团队。管理团队带来了一套不同的挑战,也需要工作方式的转变。我最自豪的是应用 AI 领域内与语言模型安全相关的几个项目:
-
我们设计并构建了一组评估数据和任务,用于评估预训练语言模型生成仇恨、色情或暴力内容的倾向。
-
我们创建了一个详细的分类体系,并构建了一个强大的分类器,用于检测不良内容及其不当的原因。
-
我们正在研究各种技术,以降低模型生成不安全输出的可能性。
随着应用 AI 团队致力于探索部署前沿 AI 技术(如大型预训练语言模型)的最佳实践,我们深刻认识到这些技术在现实任务中的强大能力与实用价值。同时,我们也意识到安全部署这些技术的重要性,正如我们的宪章中所强调的那样。

照片:Jake Stangel
当前的深度学习模型并不完美。它们使用由人类产生的海量数据(例如互联网内容、精选数据集和文献)进行训练,不可避免地吸收了社会中长期存在的诸多缺陷和偏见。例如,当 DALL·E 被要求描绘一名护士时,它只会生成女性形象;而当被要求描绘一名教授时,它只会生成白人形象。模型捕捉到了现实世界统计数据中的偏见,或是训练数据中存在的偏见。
我深受启发,希望设计一种方法来缓解此类社会偏见,并评估该方法的有效性。在团队的协作下,我们设计了一套减少此类偏见的流程,以及一套用于运行“人在回路”(human-in-the-loop)评估的工作流。减少社会偏见并非易事,因为它渗透在我们生活的方方面面,有时甚至难以察觉。但我很高兴看到 DALL·E 团队认真对待这一问题,并在非常早期的阶段就采取了行动。我们目前所做的仅仅是一个开始,我们将持续取得进展。我为能在这个领域工作而感到自豪,也很欣慰地看到,我们正一步步让现代 AI 变得更安全、更完善。
“不同主题或领域的想法往往能激发新的灵感,并拓宽潜在解决方案的空间。”
你如何将个人经历和价值观融入你在 OpenAI 的日常工作?
我相信学习的力量,任何时候开始学习都为时不晚。维护我的个人博客是保持这种好奇心、定期了解深度学习社区最新进展的好方法。我也鼓励团队成员坚持学习,无论学习内容是否与当前项目直接相关。不同主题或领域的想法往往能激发新的灵感,并拓宽潜在解决方案的空间。
我也坚信团队合作的力量。如果每个人都能发挥自己最大的优势,我们就能实现 1+1 > 2 的效果。与此同时,我们经常会遇到一些“脏活累活”,我个人非常乐意承担这些任务,因为只要那是当前最大的阻碍,或者能为项目带来最大价值,就不应该被视为“脏活”或“琐事”。我鼓励身边的人也这样做,成为真正的团队协作者,共同提升团队的生产效率。
聊聊你的博客吧!你为什么开始写博客?你希望它激发什么?
这一切最初只是作为个人的学习笔记。我进入深度学习领域并不算早,至今仍自认为是一名“新手”。起初,当我深入研读大量论文时,我被一种理念深深震撼:不再是设计算法来解决问题,而是训练模型去学习解决问题的算法。读得越多,我的好奇心就越强烈。但在实践中,整理我读过的所有论文和新学到的概念变得极其困难。因此,我决定开设一个博客,用来记录和梳理我的学习笔记。我还相信,学习某样东西的最佳方式,就是确保你能正确、清晰地将知识传授给他人。写作帮助我达到了这一目标。
我从未预料到它会在机器学习社区中流行起来,但每当收到感谢邮件,或听到人们当面说从我的博客中学到了很多时,我都感到无比荣幸和感激。自 2017 年创办博客以来,已经过去了近 6 年,只要我能坚持,我就会继续写下去。
你认为 AI 能解决的最紧迫的社会挑战是什么?
近年来,AI 社区取得了巨大进步。硬件、模型架构和数据方面的突破使得训练巨型模型成为可能,随之而来的是模型能力的不断提升。我相信我们正在朝着通用人工智能(AGI)的正确方向迈进,但单纯扩大规模并非唯一的秘诀。在我看来,当前最紧迫的挑战是对齐(Alignment)和安全性。在某种程度上,它们本质上是同一个问题,即关于可控性或可引导性。
首先,即便我们已经拥有了一个极其强大的 AI 系统,如果我们无法高效地传达我们的目标并确保模型与我们的意图保持一致(alignment),就无法创造出我们所需的价值。目前最强大的模型是从海量数据中学习的,而这些数据集不可避免地捕捉到了现实世界中的缺陷和偏见。在这方面,未对齐的模型存在安全隐患,因为它们不知道哪些行为应当避免。
“我相信我们正在通往 AGI 的正确道路上,但规模化并非唯一的配方。当前最紧迫的挑战是对齐与安全。”
你在 OpenAI 职业生涯中收到的最佳建议是什么?
这并不是某个人给我的具体建议,而是基于我在 OpenAI 至今的经历总结出来的。那就是:要敢于想得宏大。我们正在创造全新的事物,因此应当具备雄心、勇气,并拥有足够的毅力来坚持努力。
你从哪里汲取灵感?
书籍。我通常会阅读深度学习领域之外的书籍,并从各个不同领域中获取灵感;例如,对于作家而言,在 50 年间保持持之以恒是何等重要;对于外科医生而言,注重细节的完美是何等关键;而对于创业者而言,拥有“疯狂的想法”又是何等必要。
身边的人。我很荣幸能与 OpenAI 一大批才华横溢的同事共事。每个人身上都有闪光点、令人鼓舞之处或值得尊敬的地方,我很享受向他们学习的过程。