机器之心 (微信公众号)T2·78 分
阿里提出基准健康指数 BHI,量化 LLM 评测有效性
原标题:NeurIPS 2026 ED Oral丨Benchmark也有保质期?我们给158个评测基准打了分
- 提出 BHI 框架,从区分度、抗饱和度、影响力三维度评估基准健康度
- 分析 158 个基准与 117 个模型,揭示头部模型得分趋同导致的评测失效风险
- NeurIPS 2026 Evaluations and Datasets Track Oral 接收论文
AI 聚合热点事件 · 2026/10/31
阿里数据团队在 NeurIPS 2026 发表 Oral 论文,提出“基准健康指数”(BHI)框架。该研究基于 158 个主流评测基准和 117 份模型报告,从能力区分度、抗饱和度和影响力三个维度评估基准的有效性,旨在解决因模型能力提升导致的评测分数压缩和天花板效应问题。
曲线只比较全程持续完整观测的同一批信源;缺口小时数据已插值平滑,保持趋势连续。
原标题:NeurIPS 2026 ED Oral丨Benchmark也有保质期?我们给158个评测基准打了分