UK AISI 联合 EvalEval 提升基准可复现性
英国 AI 安全研究所(AISI)与 EvalEval 合作,旨在解决大模型基准测试结果难以复现的问题。双方通过标准化评估流程与工具链,提升 AI 能力评测的科学性与透明度,为政策制定提供可靠依据。
报道正文
本文目录6 个章节
UK AISI 与 EvalEval 如何让基准测试结果可复现
发布于 2026 年 9 月 22 日 在 GitHub 上更新 点赞 27
Avijit Ghosh evijit evaleval Jenny Chim j-chim evaleval Deep Joshi deeplumiere evaleval Srishti srishtiy evaleval Matt Kennedy wmmkennedy evaleval Irene Solaiman irenesolaiman evaleval Jessica McFadyen mcfadyen-aisi ai-safety-institute Lynn Tan lynn-aisi ai-safety-institute Coz coz-aisi ai-safety-institute
EvalEval 联盟 很高兴地宣布,英国 AI 安全研究所(AISI) 正在使用 EvalEval 的基础设施来公开分享评估结果,从而支持更具可复现性和可验证性的评估科学。
此前,AISI 和 EvalEval 曾合作开展研究,该研究始于 NeurIPS 2025 期间举办的联合研讨会,而来自该研究所的反馈也有助于塑造 Every Eval Ever (EEE) 模式。此次合作的下一阶段将把这一共享基础设施付诸实践。
为什么可复现的评估报告至关重要
随着 AI 部署的加速,评估正日益成为关于模型和系统性能的重要证据来源。然而,结果分散在许多不同的格式、平台和渠道中,且往往缺乏足够的信息以供复现。重新运行这些评估本身可能成本高昂,令人望而却步。
EvalEval 的使命是通过共享报告规范、Every Eval Ever 项目以及开放平台 Evaluation Cards 来改善这一生态系统,该平台将评估结果及其解读所需的信息整合到统一结构中。
这自然延续了 AISI 在提升评估效率方面的努力,例如通过 OptStop 实现更高效评估,通过 HiBayES 增强统计严谨性,并在转录分析和能力激发等领域推动标准化。AISI 与 EvalEval 正携手诊断评估报告中的缺口,并构建共享基础设施以弥补这些不足。
AISI 分享的内容
转录级透明度不仅关乎可复现性,也对分析和诊断至关重要。在这一合作新阶段,AISI 将在适当情况下通过 Evaluation Cards 公开其已发布的评估方法和发现。此次发布包括论文主要实验中五个基准测试的验证结果、背景信息及配置详情:
- HealthBench
- FrontierMath
- Humanity's Last Exam
- SWE-Bench Pro
- Terminal-Bench 2.0
这些结果涵盖六款前沿模型:Claude Opus 4、Claude Opus 4.5、Claude Opus 4.6、GPT-5、GPT-5.2 和 GPT-5.4。发布内容还包括两项相关网络安全评估的结果——Cyber CTFs 和 The Last Ones,它们使用了一组不同但部分重叠的模型。这些数据配套 AISI 的论文 How Inference Compute Shapes Frontier LLM Evaluation,该研究探讨了基准测试性能如何依赖于推理时计算量和评估协议。
Humanity's Last Exam 上的表现随评估协议和推理计算量的变化而变化。每条曲线显示在给定 token 数量内成功解决的尝试任务累计比例,采用每个任务最早观察到的成功记录。当模型在每次尝试后从 oracle 获得正确性反馈时,随着 token 使用量增加,它们继续解决了更多任务。
当研究结果连同实验设置信息一并公开时,研究人员和从业者能够更细致地审视单项研究,并在更广泛的生态系统中比较各项发现。在其他报告缺乏这些细节的情况下,AISI 等机构发布的报告为在特定语境下解读评估结果提供了经过验证的参考基准——例如,帮助研究人员理解实验设置的选择如何影响所报告的性能表现。随着越来越多的评估者采用 EEE(Every Eval Ever),此类开放性的对比将有助于推动更广泛、更可靠的元研究。
AISI 的 Terminal-Bench 2.0 结果与其他针对相同模型在不同评估设置下的已报告评估结果并列展示。
我们对这一采纳趋势感到振奋,并期待与 AISI 及其他 AI 评估组织进一步标准化和共享评估工作。
为共同使命贡献力量
- 模型开发者: 报告经过验证的评估结果。
- 评估开发者: 使用 Every Eval Ever schema 报告基准测试数据和运行数据。
- 评估、治理及政策研究人员: 按基准或模型 探索 Evaluation Cards,或利用其全面考察评估报告的现状。
关于 EvalEval 联盟
EvalEval 联盟是一个致力于开发科学严谨的研究成果以及健壮部署基础设施的研究社区,旨在完善评估生态系统。其目标是提升评估科学水平,解决在记录评估适用性和效用方面缺乏共识的问题,并扩大对科学研究和政策分析至关重要的影响领域的覆盖范围。
该联盟的旗舰项目包括 Every Eval Ever,这是一个用于存储评估结果的共享模式(schema)和代码仓库;以及 Evaluation Cards,它将基准元数据、评估运行数据和模型元数据整合为可解释的记录。这两个项目共同作用,使得人们更容易理解看似相似的分数是在哪些具有实质性差异的条件下产生的。
关于英国 AI 安全研究所
The UK AI Security Institute is a research organisation within the UK government's Department for Science, Innovation and Technology. Its mission is to equip governments with a scientific understanding of the risks posed by advanced AI. AISI conducts research and builds infrastructure to understand advanced AI capabilities and impacts, develop and test mitigations, and inform policy.