Epoch 发布 MirrorCode:AI 14 小时完成人类数周编程任务
Epoch 与 METR 联合发布新基准 MirrorCode,专门评估 AI 在长周期、复杂编程任务中的表现。测试显示,Claude Opus 4.7 仅用 14 小时和 251 美元成本便完成了预计需人类耗时 2-17 周的软件重构任务,且模型能力正以每年约 30% 的速度快速提升。该结果印证了“苦涩教训”在机器人及自主代理领域的适用性,即通用智能体通过黑盒交互即可习得并复现复杂工业能力。
报道正文
欢迎来到 Import AI,一份关于 AI 研究的通讯。Import AI 依托于 arXiv、卡布奇诺咖啡以及读者的反馈而运行。如果您希望支持我们,请订阅。
Epoch 和 METR 发布 MirrorCode,这是一个用于评估 AI 系统处理长周期编程任务能力的基准测试:……AI 系统尚无法解决最困难的任务(这很好!)... Epoch 和 METR 发布了 MirrorCode,这是一个旨在评估 AI 系统完成那些人类需要很长时间才能完成的任务的能力的基准测试。该基准测试最早在四月公布(Import AI #453),现已完善并发布,增加了额外的测试项目。目前的发现已经非常引人注目;Opus 4.7 在 14 小时内以 251 美元的推理成本解决了一个任务,METR 和 Epoch 认为这项任务若由人类完成则需要 2-17 周。“我们还发现,AI 模型随时间推移正在快速改进。一年前的领先模型得分约为 30%,且仅限于更简单的程序,例如日历实用工具。”
MirrorCode 是什么:MirrorCode 评估 AI 系统仅基于 CLI(命令行界面)访问权限重新实现软件程序的能力。“在没有原始程序源代码或互联网访问权限的情况下,完整的重新实现要求为整个程序设计结构,而不是仅仅逐段翻译代码。” 示例程序:pkl(Apple 开发的一种可编程配置语言;总代码行数 6.1 万行);gotree,一个用于解析和操作系统发育树的程序(1.6 万行代码);以及 qsv_select,一个用于选择和重排 CSV 数据列的程序(8.7 万行代码)。
结果: MirrorCode 是一个可处理但具有挑战性的基准测试,尽管可能略显简单。“在全部 25 个目标程序中,有 17/25 个至少有一次完美得分的运行。另外四个目标程序有一次得分超过 99% 的近乎完美的运行。AI 模型成功重新实现了大型目标程序,”作者写道。“Claude Opus 4.7 和 GPT-5.5 都成功地在几种不同的编程语言中重新实现了 gotree,成本为 100–400 美元。甚至比 gotree 更大的程序也被成功重新实现:例如,Opus 4.7 重新实现了 pkl”。
尽管取得了成功,MirrorCode 仍存在一些难点: “在我们的结果中,8/25 的目标程序从未达到 100% 的阈值,4/25 的目标程序从未达到 99% 的阈值,”他们写道。“AI 表现最困难的目标是 ruff,一个 Python linter 和 formatter……‘AI 在数学包 giac_subset 和电子邮件认证库 mailauth 上也特别吃力’。”
发布详情: MirrorCode 包含一个脚手架(scaffold)以及 25 个 MirrorCode 目标程序中的 22 个(跨六种语言共计 132 个任务实例)。
为何重要——AI 系统能够自我定位: 看待这个基准测试的一种方式是我们得知 AI 系统在编程方面有了很大进步,这当然是事实。但另一种看待方式——我怀疑也是更重要的一种方式是——AI 系统能够相对于其环境进行自我定位;在这里,它们的环境是一个陌生的软件程序,仅通过对其输入输出的访问,它们就能从零开始编写出自己的实现版本。这表明非常聪明的 AI agent 可能能够以某种方式从世界中学习,从而将它们所交互的事物复现为本地的能力,使得它们仅仅通过黑盒访问我们现有的工业文明,就能引导出自身形式的工业文明。