Artificial Analysis 发布 Intelligence Index v5,将 60% 权重移至私有测试集以抗数据污染。新引入的 FrontierCode 2.0 基准采用“维护者合并意愿”作为评分标准,DeepSeek V4.1 Flash 在此项开源模型中得分最高(28%),标志着 AI 编码评测从“可运行性”向“工程可合并性”的重大范式转移。
数据污染
Data Contamination
训练数据中意外包含测试集内容,导致评估结果虚高
收录情报动态
Artificial Analysis 发布智能指数 v5,这是自 v4 以来最大规模升级。新版将 60% 的评估权重转移至私有测试集或保留答案的数据集,以增强抗污染能力并反映真实世界使用情况。同时推出“进度指数”以连续追踪模型能力演变,并新增 FrontierCode 2.0 和 Terminal-Bench-Science 等前沿基准。
Artificial Analysis 发布其智能指数的最大升级版本 v5,首次将 60% 的评估权重建立在私有测试集或保留答案上,以增强抗污染能力。新版本引入了 Cognition 的 FrontierCode 2.0 和 Terminal-Bench-Science 两个新基准,并同步推出了追踪模型能力长期演进的 Progress Index v1。
Artificial Analysis 发布基于 Cognition FrontierCode 1.1 的评测榜单,该基准要求模型在真实开源仓库中完成能被维护者接受的代码修改。评测采用私有任务集与双重检查机制(单元测试+定性审查),旨在通过“可合并性”这一更贴近生产环境的指标,解决传统编码基准易过拟合测试用例的问题。
分析指出 SWE-bench Verified 基准测试存在严重的数据污染和测试缺陷,导致其无法准确衡量前沿模型的编码能力。鉴于此,研究团队建议业界转向使用更严谨的 SWE-bench Pro 作为新的评估标准。
文章指出当前主流 AI 基准测试(如 MMLU-Pro)存在数据污染、题目无意义及校准缺失三大缺陷,无法真实反映模型智能水平。作者呼吁摒弃“像人一样做题”的静态评估范式,转向更具动态性和任务导向的面试式评测方法。
OpenAI 推出 MLE-bench,一个基于 Kaggle 竞赛的基准测试,用于评估 AI 智能体在真实机器学习工程任务中的表现。结果显示,结合 AIDE 框架的 o1-preview 模型仅在 16.9% 的比赛中达到铜牌水平,揭示了当前大模型在复杂工程自动化上的局限。该基准已开源,旨在推动对智能体资源扩展及数据污染影响的深入研究。
LiveCodeBench 正式推出针对代码大模型的排行榜,旨在解决传统基准测试中的数据污染问题。该榜单通过动态更新题目和严格隔离训练数据,提供更具真实性和全面性的模型能力评估。