返回全部资讯
OpenAI 官方博客T1·基座大模型

OpenAI 发布 MLE-bench:评估 AI 智能体机器学习工程能力

原标题:MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering
78AI 研判分

OpenAI 推出 MLE-bench,一个基于 Kaggle 竞赛的基准测试,用于评估 AI 智能体在真实机器学习工程任务中的表现。结果显示,结合 AIDE 框架的 o1-preview 模型仅在 16.9% 的比赛中达到铜牌水平,揭示了当前大模型在复杂工程自动化上的局限。该基准已开源,旨在推动对智能体资源扩展及数据污染影响的深入研究。

报道正文

MLE-bench:评估机器学习智能体在机器学习工程任务中的表现 | OpenAI

评估机器学习智能体在机器学习工程任务中的表现

我们推出了 MLE-bench,这是一个用于衡量 AI 智能体在机器学习工程方面表现的基准测试。为此,我们从 Kaggle 精选了 75 个与机器学习工程相关的竞赛,构建了一套多样化的挑战性任务集,旨在测试训练模型、准备数据集和运行实验等现实世界的 ML 工程技能。我们利用 Kaggle 公开可用的排行榜为每个竞赛建立了人类基线。我们使用开源智能体脚手架(agent scaffolds)在我们的基准上评估了多个前沿语言模型,发现表现最佳的配置——OpenAI 的 o1-preview 结合 AIDE 脚手架——在 16.9% 的竞赛中至少达到了 Kaggle 铜牌水平。除了主要结果外,我们还研究了 AI 智能体的各种资源扩展形式以及预训练污染的影响。我们开源了基准代码⁠(在新窗口中打开),以促进未来对 AI 智能体机器学习工程能力的研究。

作者

Chan Jun Shern, Neil Chowdhury, Oliver Jaffe, James Aung, Dane Sherburn, Evan Mays, Giulio Starace, Kevin Liu, Leon Maksin, Tejal Patwardhan, Lilian Weng, Aleksander Madry