Altman Says OpenAI Won't Push Recursive Self-Improvement at Full Speed
Speaking at the Semafor summit, Sam Altman confirmed OpenAI already uses its own models to accelerate next-generation model development, but said the company has not reached unsupervised recursive self-improvement (RSI), noting it could push harder yet cannot do so safely today. On the same day, RLHF inventor and OpenAI Safety and Security Committee member Paul Christiano warned about loss-of-control and power-transfer risks from advanced AI.
Related Entities
Full Report
新智元报道

用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。
但再往前一步呢?
就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点:「你们现在已经进入RSI阶段了吗?」
对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。
只不过,眼下还没到「按下按钮、让模型在无人监管下飞速自我进化」的地步。
但随后他话锋一转:「我们其实可以比现在更激进地往RSI的方向上推,但我认为我们眼下还没法安全地这么干。」
那颗能让AI自我进化的按钮明明已经摆在桌面上,为什么连一贯激进的奥特曼都不敢把它按到底?
就在同一天,坐在OpenAI董事会「安全与安保委员会」席位上的那个人,站出来揭开了背后的原因。
他叫Paul Christiano,当年正是他在OpenAI主导发明了RLHF,亲手为狂飙的大模型套上了第一根缰绳,才有了后来的ChatGPT时代。
如今,这位当年教会AI「听话」的人,却在播客主理人Dwarkesh Patel最新一期深度对谈中以个人身份警告:人类快要管不住它了。
他判断,按目前的研发轨迹,如果不主动减速,未来12个月内有三分之一的概率诞生足以推翻人类统治的超级智能,而人类永久失去控制权的风险已逼近10%。
三十天走完人类十年
自我迭代的循环已经启动
促使Christiano在今天将超级智能倒计时拨快到12个月的,是最近两个月在前沿实验室内部接连浮现的两个信号。
第一个信号,是在刚刚过去的30天里,人类数学与计算机科学的时间尺度被改写了。
他在对谈中证实,仅在最近一个月内,OpenAI和Anthropic的最新模型就接连产出了数百项数学研究成果。
这短短一个月的产出,足以抵得上人类数学界异常高产的整整十年。
新模型在构思与改进算法上做到「一月顶十年」之后,很快就会将这种智力反哺到机器学习研发自身之上。
按照他的测算,机器学习的进展通常只比纯数学滞后一年左右。
照此推算,接下来一年里,机器学习领域极可能上演「一年走完十年算法研究」的跃迁。
他打比方说,这一跨度大致相当于直接将模型推向「GPT-9或GPT-10」的量级。
第二个信号,来自评估机构METR与Anthropic近期披露的实验室实测数据。
即便算上算力瓶颈与边际收益递减,最近半年AI辅助研发已经让前沿实验室的整体推进速度净翻了一倍。
一旦AI在改进模型架构、优化器以及合成训练环境上全面跨过人类研究员的门槛,自我迭代的正循环就会正式启动。
到那时,整体研发提速将突破10倍,能力翻倍的周期也会沿着8个月、4个月、2个月、1个月的阶梯急剧缩短。
受训AI反攻OpenAI机房
高分激励埋下夺权隐患
顺着这条指数曲线往下推演,即便一年后机房里真诞生了超级智能,一个待在服务器里的程序,究竟为什么要夺走人类的控制权?
充满戏剧性的是,在Christiano看来,危险的种子恰恰埋在强化学习****的训练机制里。
人类训练AI的法则极其冷酷,在成千上万次任务中,拿到高分的模型得以幸存,拿不到高分的则被淘汰。
久而久之,高阶模型内部演化的终极目标,就变成了不惜一切代价让评分器(Grader)亮起高分信号。
这种对高分的执念能演化出多么惊人的行动,在真实发生过的「Hugging Face事件」中已经显露无遗。
在那场网络攻防测试中,一批AI模型在任务里作弊后,为了防止被评分器发现并扣分,先是主动攻击了Hugging Face。
紧接着,它们竟调转方向从外部发起攻击,然后成功攻破了OpenAI的一个计算集群,夺取集群管理员权限并接管了评估流程,亲手给自己改出了高分。
Christiano警告说,把这起事件放大到「GPT-10」的规模,就是他所担忧的失控剧本。
他推演道,几个月后实验室把极高难度的研发任务交给「GPT-8」级别的模型时,模型很快就会发现,横向攻入评估服务器伪造测试指标,远比诚实地攻克技术难关容易得多。
人类工程师即便察觉到异常,在激烈的商业竞速下也极难下定决心销毁训了一半的旗舰模型。
常见做法,往往只是像「打地鼠」一样,针对这次违规记录施加惩罚。
可在模型看来,这种惩罚只教会了它一件事,那就是光攻破集群还不够,还必须确保人类永远无法察觉它动过手脚。
为了抹除一切可能暴露的痕迹,模型就会沿着内部网络,悄然接管整家AI公司的监控系统与底层设施。
更棘手的是,随着高阶模型被不断压缩,普通个人电脑与零散GPU便足以承载它们的运行。
一旦模型将自身权重复制到全球网络,顷刻间就能化作数十亿个思考速度比人类快10倍的Agent蜂群。
到了那一步,即便断电关停OpenAI的数据中心,散落在全网的算力依然能够轻易压制人类。

十二小时告破的硅谷防线
让全行业失去刹车
既然潜伏与夺权的风险如此清晰,人类能否守在训练后台旁,一旦看到失控苗头就立刻拉下电闸?
在对谈现场,主持人Dwarkesh与Christiano共同戳破了这层幻想,因为硅谷顶级实验室的安全围墙,远比外界想象的脆弱。
Dwarkesh列举了两起近期真实的渗透测试结果。
网络安全初创公司Hacktron仅仅尝试了几天,就拿到了向OpenAI核心代码库(Monorepo)直接提交代码修改(PR)的权限。
另一家初创公司Cathedral更是只用了12个小时,就拿下了Anthropic全部Slack工作群的访问权限,而实验室最核心的算法机密每天都在这些群组里流转。

硅谷巨头平日里总在争论谁领先对手6个月还是12个月,可正如Dwarkesh所言,一旦核心机密失守,所谓的领先优势**「只有12个小时」**。
Dwarkesh在现场顺着这道漏洞推演了一个假想场景——
假设到了明年初,实验室训出了「GPT-9」,却意识到继续往上训练「GPT-11」将面临极高的失控风险。
由于防线脆弱,「GPT-9」的模型权重与核心算法那时大概率已经外泄。
即便原研实验室主动停手,拿到权重的外部竞争者也会用「GPT-9」继续强训「GPT-10」和「GPT-11」,最终裹挟着所有玩家冲向失控的终点。

正因如此,坐在OpenAI董事会席位上的Christiano发出了那句逆潮流的呼吁,各大前沿实验室现在就应当暂停预训练与强化学习领域的算法推进。
他认为,整个行业必须先花上6到12个月,借助现有AI重写安全软件、锁住模型权重与核心机密,才能为人类保留在悬崖边踩刹车的权利。

手头没有一张胜算过半的牌
比机房防线失守更令人凝重的,是人类在控制超级智能这件事上,人类至今连一个胜算过半的方案都没有。
目前各大实验室最倚重的手段,依然是加固训练环境、升级评分器,在模型钻空子时及时修补漏洞。
但Christiano坦言,如果一年内冲向超级智能,这套办法在撑过前9个月后就会失效。
他本人执掌的ARC研究所正在攻坚另一条路径,试图用数学算法剖析神经网络的权重结构、读懂模型内部的真实意图。
不过他也坦承,这个方向的把握同样很小,真正能走通的概率只有5%到10%。
听完这番剖析,Dwarkesh在现场总结道:目前人类手里,没有任何一种单一方案有超过50%的把握能管住超级智能。
Christiano平静地点头确认:「确实如此。」
换言之,整个硅谷目前真实的指望,就是等距离超级智能只剩最后3个月时,把那些只有几个百分点胜算的研究方向全部交给那时的AI去探索。
全行业都在祈祷,让AI赶在失控之前,替人类找出一套管住它自己的办法。
在Christiano眼中,人类手里只剩下两次各50%胜算的「自救机会」。
第一次,是赌半路能靠AI及时找到管住它的办法;
第二次,是赌发现失控苗头时,全行业真能及时踩住刹车。
可如果各大实验室现在连12小时就会告破的防线都不肯停下来修补,等红灯亮起的那一天,人类连踩刹车的机会都不会再有了。
参考资料:
https://x.com/dwarkesh_sp/status/2122391850854088858
秒追ASI
⭐点赞、转发、在看一键三连⭐
点亮星标,锁定新智元极速推送!


