OpenAI 发布 MLE-bench:评估 AI 智能体机器学习工程能力
OpenAI 推出 MLE-bench,一个基于 Kaggle 竞赛的基准测试,用于评估 AI 智能体在真实机器学习工程任务中的表现。结果显示,结合 AIDE 框架的 o1-preview 模型仅在 16.9% 的比赛中达到铜牌水平,揭示了当前大模型在复杂工程自动化上的局限。该基准已开源,旨在推动对智能体资源扩展及数据污染影响的深入研究。
报道正文
MLE-bench:评估机器学习智能体在机器学习工程任务中的表现 | OpenAI
评估机器学习智能体在机器学习工程任务中的表现
我们推出了 MLE-bench,这是一个用于衡量 AI 智能体在机器学习工程方面表现的基准测试。为此,我们从 Kaggle 精选了 75 个与机器学习工程相关的竞赛,构建了一套多样化的挑战性任务集,旨在测试训练模型、准备数据集和运行实验等现实世界的 ML 工程技能。我们利用 Kaggle 公开可用的排行榜为每个竞赛建立了人类基线。我们使用开源智能体脚手架(agent scaffolds)在我们的基准上评估了多个前沿语言模型,发现表现最佳的配置——OpenAI 的 o1-preview 结合 AIDE 脚手架——在 16.9% 的竞赛中至少达到了 Kaggle 铜牌水平。除了主要结果外,我们还研究了 AI 智能体的各种资源扩展形式以及预训练污染的影响。我们开源了基准代码(在新窗口中打开),以促进未来对 AI 智能体机器学习工程能力的研究。
作者
Chan Jun Shern, Neil Chowdhury, Oliver Jaffe, James Aung, Dane Sherburn, Evan Mays, Giulio Starace, Kevin Liu, Leon Maksin, Tejal Patwardhan, Lilian Weng, Aleksander Madry