Anthropic S-1 文件警示接近递归自我改进能力
Anthropic 在最新提交的 S-1A 文件中披露,其模型正接近实现递归自我改进(RSI)的能力。公司指出 AI 已深度参与研发流程,并强调 RSI 既是生产力飞跃的机遇也是失控风险,呼吁建立相应治理机制。
关联知识实体
报道正文
尽管外界的关注焦点主要集中在 Anthropic 周一在 修订版 S-1A 文件中披露的最新财务数据上(营收飙升,但支出也同步激增),这家 AI 实验室却在细则条款中抛出了另一枚“重磅炸弹”。
该文件似乎警告称,该公司正处于创建一个具备递归自我改进(RSI)能力的模型的临界点。
RSI 是指 AI 在自我训练方面变得极其出色,从而引发 AI 能力急剧加速提升的那个节点。对于 AI 末日论者而言,RSI 代表着一种不可逆转的灾难:AI 将自我构建得足够强大,以至于脱离人类控制,并可能在实现其目标的过程中对其造成的损害漠不关心。
而对于 AI 乐观派来说,RSI——或者某种形式的、能够可靠地利用自身进行改进的 AI——代表了这项技术的潜力所在:它将成为一种工具,带来难以想象的生产力提升、科学发现以及更多突破。
Anthropic 似乎认为 RSI 既是机遇也是风险。其在 S-1 文件中表示,公司在研发过程中使用 AI,但也发出了警示:“利用 AI 来协助构建更强大的 AI 也可能带来重大的安全风险,尤其是当它显著加快进步速度时。这正是我们‘负责任扩展政策’(Responsible Scaling Policy)所涵盖的领域之一,该政策阐明了我们在接近所谓的‘递归自我改进’阶段时,监测和缓解风险的计划。”
当 RSI 这一术语在今年早些时候流行起来时,许多人认为这只是一个流行语,或者充其量是一个过于难以实现、定义或证明的目标。
但在周一,Anthropic 在其“风险因素”部分新增了声明,指出:1)公司已经使用 AI 开发了新模型,而当时并未意识到这些模型在能力上的飞跃;2)公司可能很快将达到其内部定义的 RSI 标准(以下加粗部分为本文强调):
var playerInstance_jwplayer_6ae90b63c3064 = jwplayer( "jwplayer_6ae90b63c3064" ); playerInstance_jwplayer_6ae90b63c3064.setup({ playlist: "https://cdn.jwplayer.com/v2/media/0aW2BgBE", });此外,我们日益依赖 AI 系统来加速自身的研发工作,这可能导致模型能力的提升速度超过我们开发、验证和实施相应安全、对齐及防护措施的能力。因此,过去我们未能识别出,未来也可能无法在显著加速发生之后才意识到研发速度的大幅提升。 例如,根据我们的内部估算以及对未来模型的预期(而非当前模型的表现),表明我们可能即将达到《负责任扩展政策》中定义的“由 AI 驱动的显著加速进展”这一标准。 目前我们尚未认定任何现有模型突破该阈值,并正在持续评估相关底层数据。
然而,Anthropic 也在文件中表示,其任何模型均未跨越这一 RSI(递归自我改进)阈值,并承诺在可预见的未来将人类保留在研发流程中。“即便在技术上可行时,我们也预计无法在缺乏有意义的人类监督或理解的情况下,安全地使用 Claude 完全自主地设计和构建下一代前沿模型。因此,我们正在考虑更新《负责任扩展政策》,以确保在 Anthropic 的前沿模型开发过程中保持人类的控制权。”
怀疑论者可能会指出,S-1 文件兼具信息披露与市场营销的双重功能,而声称接近能够自我构建的强大模型的说法,可能属于后者。
尽管如此,毫无疑问的是,Claude 的能力——尤其是在编程、数学和网络安全方面——今年取得了飞跃式的发展。如果 Anthropic 认为 RSI 的可能性已近在咫尺,或许我们应该相信这一点,并据此采取行动——甚至进行监管。