术语slug: data-contamination

数据污染

Data Contamination

训练数据中意外包含测试集内容,导致评估结果虚高

收录情报动态

共 8 篇 · 第 1/1 页
IT之家 · 智能时代T2·基座大模型
78 分
Artificial Analysis v5 基准发布,DeepSeek V4.1 Flash 领跑开源编码榜

Artificial Analysis 发布 Intelligence Index v5,将 60% 权重移至私有测试集以抗数据污染。新引入的 FrontierCode 2.0 基准采用“维护者合并意愿”作为评分标准,DeepSeek V4.1 Flash 在此项开源模型中得分最高(28%),标志着 AI 编码评测从“可运行性”向“工程可合并性”的重大范式转移。

Artificial Analysis (@ArtificialAnlys)T1·基座大模型
78 分
Artificial Analysis 发布智能指数 v5 引入私有基准与进度追踪

Artificial Analysis 发布智能指数 v5,这是自 v4 以来最大规模升级。新版将 60% 的评估权重转移至私有测试集或保留答案的数据集,以增强抗污染能力并反映真实世界使用情况。同时推出“进度指数”以连续追踪模型能力演变,并新增 FrontierCode 2.0 和 Terminal-Bench-Science 等前沿基准。

Artificial Analysis (@ArtificialAnlys)T1·基座大模型
68 分
Artificial Analysis 上线 FrontierCode 1.1 榜单:以真实开源仓库合并标准评估代码智能体

Artificial Analysis 发布基于 Cognition FrontierCode 1.1 的评测榜单,该基准要求模型在真实开源仓库中完成能被维护者接受的代码修改。评测采用私有任务集与双重检查机制(单元测试+定性审查),旨在通过“可合并性”这一更贴近生产环境的指标,解决传统编码基准易过拟合测试用例的问题。

One Useful Thing (Ethan Mollick)T2·基座大模型
68 分
AI 基准测试失效:从 MMLU-Pro 看评测困境

文章指出当前主流 AI 基准测试(如 MMLU-Pro)存在数据污染、题目无意义及校准缺失三大缺陷,无法真实反映模型智能水平。作者呼吁摒弃“像人一样做题”的静态评估范式,转向更具动态性和任务导向的面试式评测方法。

OpenAI 官方博客T1·基座大模型
78 分
OpenAI 发布 MLE-bench:评估 AI 智能体机器学习工程能力

OpenAI 推出 MLE-bench,一个基于 Kaggle 竞赛的基准测试,用于评估 AI 智能体在真实机器学习工程任务中的表现。结果显示,结合 AIDE 框架的 o1-preview 模型仅在 16.9% 的比赛中达到铜牌水平,揭示了当前大模型在复杂工程自动化上的局限。该基准已开源,旨在推动对智能体资源扩展及数据污染影响的深入研究。