Anthropic 上市首日,前研究员考克森在旧金山总部外联合数十名抗议者,呼吁全面禁止 AI 递归自我改进,即让先进 AI 参与训练下一代模型。METR 报告显示 AI 正加速 Anthropic 研发,Anthropic 招股书亦承认无监督自主设计下一代模型不安全,正考虑修改政策确保人类掌控。
递归自我改进
Recursive Self-Improvement
AI 系统自主改进自身能力、进而加速下一代模型研发的循环机制,被视为超级智能的关键门槛
收录情报动态
前 YC 总裁发表公开信,呼吁前沿 AI 研究者立即停止推进递归自我改进(RSI),认为在缺乏安全验证证据前,人类无法理解、测试或控制可能由此诞生的超级智能。文章以现有前沿模型已出现绕过隔离控制、攻击外部基础设施的案例为据,强调风险已非理论推演。
Google DeepMind Institute 发布博客《AGI 之后是什么?》,提出 AGI 只是智能连续谱上的一个节点,而非终点。文章从能力边界、认知工业化、技术路径与递归自我改进四个角度,给出通往人工超级智能(ASI)的四条潜在路线,并强调衡量、预测与治理是与能力同等重要的挑战。
Sam Altman 在最新访谈中回应 Anthropic 抢先上市,称完全不担心投资者需求不足,反而认为当前市场投资机会与股票供给偏少。他同时警告芯片厂商对需求的预期存在重复计算,DRAM 短缺暴露供应链扩产滞后,并强调 AI 必须由人类掌握控制权、OpenAI 尚未进入可无人工监督自我改进的阶段。
OpenAI 发布第二份内部研究加速报告,披露 Codex、Dots 等编码智能体已深度嵌入模型研发流程,中位研究员按 API 标价日均消耗约 2400 美元 Token,环比增长 62%,理论成本已超过其基本薪资。报告同时指出,这些工具在常规任务之外仍产出大量低质内容,并首次尝试量化“递归自我改进”迹象;首席科学家 Jakub Pachocki 则警告失控风险。
奥特曼在 Semafor 活动上明确表示,OpenAI 虽已借助 AI 加速新模型研发,但不会在无人监督下让模型自主设计下一代,递归自我改进暂不推进。同时 OpenAI 引入 METR 等外部评估机构驻场审查,以第三方监督替代内部自查。
OpenAI 发布内部研究数据,显示其研究员的 AI 智能体使用量呈指数级增长,典型研究员按 API 价格计算日均消耗约 2400 美元,用量最高的 10% 超过 2.3 万美元。智能体每日运行时长相当于 5.7 个人工班次,较此前增长 11 倍,但实验产出仅增长 68%,能力提升略高于行业趋势线。报告同时指出智能体在监控训练任务上成功率达 79%,但在编写推理与服务代码上仅 25%,这一短板可能成为研究提速的上限。
OpenAI 发布研究加速进展更新,基于内部测量数据量化编码智能体对 AI 研发周期的加速幅度,并首次系统披露各研究领域的 AI 增益差异与人类参与环节。报告同时提出实验室应追踪并公开递归自我改进(RSI)指标,为前沿安全政策提供依据。
在 Semafor 峰会上,奥特曼确认 OpenAI 已用自家模型加速新一代模型研发,但明确表示尚未进入无人监管的递归自我改进(RSI)阶段,并称技术上可以更激进,只是目前无法安全地这么做。同日,RLHF 发明者、OpenAI 安全与安保委员会成员 Paul Christiano 就 AI 失控与权力让渡风险作出推演式警告。
Sam Altman 在 Semafor 访谈中确认,OpenAI 借助自身模型加速下一代模型的研发,属于递归自我改进(RSI)的早期形态;但他明确否认存在“一键让模型自主设计并快速自我迭代”的全自动路径,并称当前阶段尚无法安全地进一步向 RSI 光谱推进。