前 UK AISI 团队创立 Sequent:警示对齐未达预期
英国 AI 安全研究所(AISI)对齐团队与 Timaeus 研究人员联合成立非营利组织 Sequent,旨在开发针对超级智能的安全对齐技术。该机构指出当前实证对齐方法难以在 ASI 训练前提供充分信心,强调需建立独立第三方机制以预警前沿实验室潜在风险。
报道正文
欢迎来到 Import AI,一份关于人工智能研究的通讯。Import AI 依托于 arXiv、卡布奇诺以及读者的反馈而运行。如果您希望支持我们,请订阅。
AI 研究人员创立新的安全初创公司,因为“对齐工作进展不顺”: *……Sequent 将拥有一系列资源不足的研究赌注……*来自英国 AI 安全研究所(UK AI Security Institute)对齐团队以及对齐理论初创公司 Timaeus 的研究人员已联手成立一家名为 Sequent 的新非营利研究组织,该组织将致力于开发对齐技术,以增强我们对超级智能 AI 系统安全性的信心。
他们写道:“人工超级智能(ASI)可能在未来几年内问世。目前尚不清楚对齐工作是否能在相同的时间框架内准备就绪。至少,AI 实验室的实证项目不太可能在训练 ASI 之前提供先验的信心,即确信一切都会顺利。” “在理想世界中,我们会共同开发一种构建超级智能的方法,并辅以证明其安全性的理论推导,然后再进行构建。但在现实世界中,我们很可能不得不接受远低于这一理想的方案。”
Sequent 详情: 该组织旨在几年内达到 40-80 名全职员工规模。“我们的目标是初期筹集 1–1.5 亿美元,但如果我们能成功探索许多并行的研究调查,则准备再筹集至少一个数量级的资金,”它写道。
研究计划——一套差异化的对齐策略组合: 该计划旨在采取与主流 AI 实验室不同的对齐路径。Sequent 的目标是寻找“有原则的依据,以确信我们在可控情境下观察到的对齐效果(例如在训练过程中,或在选定环境中的评估期间)能够泛化至难以控制的情境(例如在现实世界中执行的大规模、长周期任务)”。这与大多数前沿 AI 实验室的方法形成对比,Sequent 将其描述为“本质上是被动反应式的,由此产生的方法虽然有效,但无法提供关于其何时或是否会失效的原则性洞察。”
研究方向: “我们对众多对齐理论领域及其相关实证研究充满热情,并计划既构建内部的研究组合,又与其他姊妹机构合作,增加额外的理论押注,” Sequent 表示。重点关注的领域包括:可扩展监督(scalable oversight)、学习理论、启发式论证、博弈论以及人格设定(personas)。
Sequent 认为,通过追求多种不同的研究方向,它们之间可能会产生富有前景的交互作用,例如:可达均衡(Reachable equilibria)——“揭示可扩展监督方法将收敛于何种类型的均衡”;知晓并调节参数(knowing and setting knobs)——结合学习理论和人格设定的洞察,明确训练中可调整的变量,然后利用可扩展监督来确定这些变量的调整幅度。
为何至关重要——我们需要在递归自我改进之前实现更好的对齐,否则就是在玩极其危险的赌博: 当今的 AI 系统在一定程度上是对齐的,但也存在一些奇怪且尖锐的边缘情况,表现为在真实环境中令人意外的失败。总体而言,这大致是可以接受的,因为 AI 行业已经掌握了监控和观察这些失败并进行改进的方法。然而,随着 AI 系统变得更加智能,人类将把越来越多的核心研究工作移交给这些系统,同时 AI 系统也可能开始经历递归自我改进(RSI),自主地构建自身越来越大的部分。我们绝对需要更好的对齐技术,以便对诸如 RSI 等事项拥有信心。像 Sequent 这样的组织为我们提供了更好的机会来实现这一目标,同时保持必要的独立性,以便在认为前沿实验室正在从事危险行为时发出警报。正如 Sequent 所言,“我们可能需要大声疾呼”。