FrontierML 基准:AI 智能体可花 200 美元自主提升模型性能
研究者发布 FrontierML 基准,用 21 个端到端机器学习长周期任务衡量智能体将资金转化为模型性能的能力。每个任务提供 12 小时 CPU 沙箱与 10 至 200 美元预算,前沿系统已能通过外包子任务等方式自主改进表现。这既反映 AI 研发能力的提升,也指向智能体之间相互分包工作的机器经济雏形。
报道正文
欢迎来到 Import AI,这是一份关于 AI 研究的通讯。Import AI 依靠 arXiv、卡布奇诺和读者的反馈运转。如果你想支持它,请订阅。 AI 系统越来越擅长通过外包来提升自身能力:*……AI 现在能够以富有成效的方式花钱来改进自己……*研究人员开发了 FrontierML,这是一个基准,“用于衡量智能体在具有挑战性的端到端机器学习任务中,将资金转化为模型表现的能力。”它表明,当今的前沿系统已经能够在获得一定资金的情况下,将其转化为在一组 21 个不同任务上自身表现的提升。
21 个长周期任务,“灵感来自前沿实验室、新实验室和学术机构的真实工作”。这些任务涵盖六大类别领域,包括 LLM 训练、效率、视觉与音频、计算机使用、应用 NLP,以及数学与游戏。“每个任务都为智能体提供相同的设置:一个 12 小时的 CPU 沙盒、一个装有 10 美元、50 美元或 200 美元的钱包、少量验证样本,以及一份任务描述。” 示例任务:智能体解决这些任务的方式相当不同。例如,在一个关于生成截图的任務中,得分最高的智能体使用 LoRA 微调了一个扩散模型,而其他高分方法则涉及让 LLM 编写一个绘图程序,然后将其渲染出来。
关键特性:
- 扩展支出:“给智能体每个任务 10 美元、50 美元和 200 美元,用于花费在训练算力和数据上,并评估智能体能否富有成效地利用额外资金,”他们写道。“在我们的实验中,我们发现更强的智能体能够随着获得更多资金而可靠地改进其提交结果。”
- 开放式与端到端:“在每个任务中,智能体可以选择架构、获取数据、实施训练、配置算力、评估检查点并优化推理,”他们写道。一个值得注意的观察是,智能体做了相当多新颖的事情;“在 28% 的轨迹中,智能体将新训练的部分添加到预训练模型中,或从头训练一个新模型。”
- 不错的验证:“智能体提交一个推理服务器,在气隙隔离的 H100 机器上为其模型提供服务,”他们写道。“为了抑制过拟合,我们提供有限的验证样本,并在一个大型的分布外留出测试集上进行评估,该测试集不会展示给智能体”。
结果:作者通过观察在额外提供资金时 21 项任务平均得分的变化来衡量性能。他们的基线是一位人类研究者,在获得 10 美元时能提升 56 分,在获得 200 美元时能提升 66.1 分。相比之下,表现最好的系统 Opus 5.5 在 10 美元时提升 45.4 分,在 200 美元时提升 58.8 分。排名最高的开放权重模型是 Kimi K3.1 Pro,在 10 美元时提升 25.5 分,在 200 美元时提升 29.6 分。
为什么这很重要——AI 系统不仅将能够自我构建,还能创造性地进行分包: 在尝试解决复杂问题时,人们并不会独自工作。事实上,他们常常试图把部分工作分派给身边的专家,以帮助自己更高效。FrontierML 表明,当今强大的 AI 系统正越来越擅长为 ML 研究做到这一点。这既凸显了这些系统在 AI 研发方面不断提升的能力,也指向了一个未来的机器经济——在这个经济中,AI 系统会把不同的工作分包给其他系统。