OpenAI 发布超级智能治理框架:强调事前管控与全球协调
OpenAI 三位核心高管联合发文,提出针对未来“超级智能”的治理构想,认为其能力将远超当前 AGI。文章主张鉴于潜在的存在性风险,不能采取被动反应策略,而需建立类似核能监管的事前控制机制及全球协调体系。
报道正文
本文目录6 个章节
超级智能的治理
现在正是开始思考超级智能治理问题的好时机——所谓超级智能,是指未来那些能力远超通用人工智能(AGI)的 AI 系统。

加载中…
基于我们目前所见的图景,可以设想的是,在未来十年内,AI 系统将在大多数领域超越专家技能水平,并执行相当于当今最大企业之一的生产活动量。
就潜在的上行收益和下行风险而言,超级智能将比人类过去不得不应对的其他技术更为强大。我们可以拥有一个显著更加繁荣的未来;但为了达到这一目标,我们必须管理好风险。鉴于存在生存性风险的可能性,我们不能仅仅被动应对。核能是一个常被引用的历史案例,展示了具有这种特性的技术;合成生物学则是另一个例子。
我们也必须缓解当今 AI 技术带来的风险,但超级智能需要特殊的处理和协调机制。
一个起点
有许多理念对于我们要成功驾驭这一发展至关重要;在此,我们阐述对其中三个理念的初步思考。
首先,我们需要在领先的开发努力之间实现一定程度的协调,以确保超级智能的开发方式既能维持安全性,又能帮助这些系统与社会的平稳融合。这可以通过多种方式实施;全球主要政府可以设立一个项目,让许多当前的努力成为其一部分;或者,我们可以集体达成共识(由下文建议的新组织等机构的支持力量背书),将前沿 AI 能力的增长速度限制在每年的特定速率以内。
当然,各个公司也应被要求以极高的标准负责任地行事。
其次,我们最终可能需要一个类似于 IAEA(国际原子能机构) 的机构来监管超级智能的开发工作;任何超过特定能力(或算力等资源)阈值的努力,都需要接受一个国际机构的监管,该机构有权检查系统、要求审计、测试安全标准的合规性、对部署程度和安全级别施加限制等。追踪算力和能源使用情况将大有裨益,并让我们有理由相信这一想法实际上是可以实施的。作为第一步,企业可以自愿同意开始实施此类机构未来可能要求的某些要素;作为第二步,各个国家可以自行实施这些措施。重要的是,此类机构应专注于降低存在性风险,而不是那些应由各国自行决定的问题,例如定义 AI 被允许说什么内容。
第三,我们需要具备使超级智能变得安全的技术能力。这是一个 开放的研究问题,我们和其他机构正在为此投入大量精力。
不在范围内的内容
我们认为,允许企业和开源项目开发低于重大能力阈值的模型至关重要,且无需适用此处描述的监管措施(包括许可证或审计等繁琐机制)。
当今的系统将为世界创造巨大价值,虽然它们确实存在风险,但这些风险的水平似乎与其他互联网技术相当,而社会目前采取的应对方式也是适当的。
相比之下,我们所担忧的系统将拥有超越以往任何技术的力量,我们应当谨慎行事,避免通过将类似标准应用于远低于此门槛的技术,从而稀释了对这些强大系统的关注重点。
公众参与和潜力
然而,对于最强大的系统的治理,以及关于其部署的决策,必须受到强有力的公众监督。我们相信,世界各地的人们应该通过民主方式决定 AI 系统的 边界和默认设置。我们尚不知道如何设计这样的机制,但 我们计划对其进行实验 以推动其发展。我们继续认为,在这些宽泛的边界内,个人用户应对其所使用的 AI 的行为方式拥有很大的控制权。
鉴于其中的风险与困难,值得思考我们为何仍要构建这项技术。
在 OpenAI,我们有两条根本理由。首先,我们相信它将带来一个远比我们今天所能想象的更美好的世界(在教育、创意工作和个人生产力等领域,我们已经看到了早期的例证)。世界面临着许多问题,我们需要更多的帮助来解决它们;这项技术能够改善我们的社会,而每个人运用这些新工具的创造力必将令我们惊叹。经济增长和生活质量的提升也将令人瞩目。
其次,我们认为阻止超级智能的诞生将具有反直觉的风险和难度。因为其潜在收益巨大,构建成本逐年下降,参与构建的行为者数量迅速增加,且它本质上是我们所处技术发展路径的一部分,因此若要阻止它,可能需要类似全球监控体制的手段,甚至即便如此也无法保证奏效。所以我们必须把它做对。
作者
Sam Altman, Greg Brockman, Ilya Sutskever
致谢
Miles Brundage, Jade Leung, Anna Makanju, John Schulman, Helen Toner, Wojciech Zaremba