AAAI 论文:平衡标注员数量与样本量以提升 AI 基准可复现性

原标题:Building better AI benchmarks: How many raters are enough?
58AI 研判分

针对 AI 基准测试中因忽略人类分歧导致可复现性低的问题,新研究提出了 (N,K) 权衡框架。该框架通过数学模型量化“每样本标注员数量”与“总样本数”之间的资源分配关系,旨在以有限预算最大化评估结果的稳定性与可信度。

报道正文

本文目录8 个章节

在机器学习中,可复现性衡量的是使用相同的代码、数据/分布和设置重复实验并获得相同结果的难易程度。高水平的可复现性有助于建立团队间的信任,并使他们能够在彼此的进展基础上继续工作。

可复现性的挑战在于,基准真值(ground truth)数据通常依赖人工标注;而人类与机器不同,会从多种视角看待问题,且往往对结果存在分歧。令人惊讶的是,很少有研究探讨有效忽略人类分歧所带来的影响,而这正是 AI 基准测试中常见的疏忽。研究匮乏的一个原因是收集基于人工评估的数据预算有限,而为每个样本从多个评分者那里获取更多标注会显著增加单项标注成本。

在论文“Forest vs Tree: The (N,K) Trade-off in Reproducible ML Evaluation”中,我们研究了被评估项目数量与每项人工评分者数量之间的可复现性权衡。是应该用较少的评分者评估较多的项目,还是用较多的评分者评估较少的项目?可以将此视为“广度”与“深度”之间的选择。广度方法(即“森林”策略)邀请 1,000 位不同的人各尝试餐厅的一道菜,以获取整体质量印象。深度方法(即“树木”策略)则邀请 20 人尝试相同的 50 道菜,从而更深入了解特定菜品,这可能会影响整体评分。

历史上,AI 评估倾向于采用“森林”策略。大多数研究人员满足于每项仅由 1 到 5 位评分者进行评估,假设这足以确定单一的“正确”真值。我们的研究表明,这一标准往往不足以捕捉自然存在的分歧,并提供了一份构建更可靠且更具成本效益的 AI 基准测试的路线图。

实验:模拟预算

主观性削弱实证基准测试的可信度,这是可复现性面临的主要挑战。如果两位不同的研究人员运行相同的评估却得到不同的结果,那么该研究就不可复现。为了找到被评估项目数量与每项评分者数量之间的最佳平衡,我们开发了一个模拟器,其基础是涉及毒性检测和仇恨言论识别等主观任务的真实世界数据集。

我们本质上进行了一次大规模的“压力测试”,旨在寻找在给定研究预算(例如以成本、时间等衡量)下最高效的资源分配方式。我们调整了两个主要变量,以观察哪种配置能产生最可靠的结果:

  • 规模 (N):被评估项目的总数(范围从 100 项的小预算到 50,000 项的大预算)。
  • 众包人数 (K):查看同一项目的人数(范围从 1 人到 500 人的大规模群体)。

我们使用模拟器在不同规模下测试了数千种此类组合,以确定哪些配置具有最高的统计可靠性(p< 0.05),从而具备 可复现性。

为了支持更广泛的社区,我们已在 GitHub 上 开源了该模拟器。

数据集

我们使用了多个数据集,每个数据集包含不同类别,且每个项目有多条响应数据:

  • Toxicity 数据集包含由 17,280 名评分者标注的 107,620 条社交媒体评论。
  • DICES Diversity in Conversational AI Evaluation for Safety 数据集包含 350 段聊天机器人对话,由 123 名评分者在 16 个安全维度上进行安全性评估。
  • D3code 是一个大型跨文化数据集,包含 4,554 个项目,每个项目均由来自 21 个国家的 4,309 名评分者针对冒犯性进行标注,且在性别和年龄分布上保持平衡。
  • Jobs 是由 2,000 条与工作相关的推文组成的集合,每条推文由 5 名评分者标注。评分者需回答关于每条推文的 3 个问题,对应的数据集分别标记为 JobsQ1/2/3。JobsQ1/2/3 中的类别分别代表工作相关信息、就业状态以及职业转换事件的视角。

利用这些数据集,我们还测试了当数据存在“噪声”或“混乱”时的情况。例如,如果 99% 的邮件是垃圾邮件而只有 1% 是重要邮件(表明数据高度偏斜),这是否会改变最优的评分者分布策略(广度 vs. 深度)?此外,我们还探索了增加数据类别数量(例如毒性标签,如有毒、轻微冒犯、中性等)所产生的影响。

关键发现:没有放之四海而皆准的方案

我们的研究揭示了三个主要见解,挑战了机器学习评估领域的现状:

1. “标准”的 3–5 名评分者远远不够

我们的研究结果表明,每个测试项仅由 1、3 或 5 名标注者进行评估这一常见做法往往是不够的。这种“低标注者数量”的方法既无法提供足够的广度以把握整体情况,也无法提供足够的深度以理解人类观点的细微差别。为了获得真正可靠且能反映人类观点细微差异的结果,从业者通常需要对每个测试项使用超过 10 名标注者。

2. 评估指标决定策略

不存在所谓的“完美”比例。相反,最佳权衡完全取决于所测量的内容:

  • 准确性——多数投票:如果目标仅仅是查看模型是否与人类的“多数投票”结果一致,“森林”方法(即增加测试项数量)通常更优。增加测试项数量比增加标注者数量更有效。
  • 细微差别——观点范围:如果需要涵盖人类观点的完整范围——考虑到“可能”与“是”之间的区别——“树”方法(即增加标注者数量)更为有效。增加标注者数量是捕捉人类思想“总变差”的唯一途径。

3. 高效性触手可及

最令人鼓舞的发现是,无需无限预算。我们发现,通过根据所选评估指标正确优化每个测试项的标注者比例,仅需约 1,000 次总标注的适度预算即可实现高度可复现的结果。然而,即使增加了研究预算,选择错误的平衡点也可能导致不可靠的结论。

这对 AI 的未来为何重要

这项研究对于构建可靠的 AI 至关重要。多年来,该领域一直遵循“单一真理”范式——即认为对于每个输入,都存在一个“正确”标签。但即使存在单一的基准真值(ground-truth),也可能无法对其进行准确测量。随着 AI 进入伦理等更具主观性的领域,识别有害意图或社交互动性质等主观概念时,这种范式便不再适用。

通过摒弃“森林”方法并采用“树”方法,我们可以构建真正反映复杂性以及导致人类世界中自然分歧的不同视角的基准测试。这一路线图使从业者能够在不过度投入的情况下设计更好、更可复现的测试。最终,理解人类为何产生分歧与了解他们在何处达成一致同样重要,而我们的研究提供了捕捉这两者的数学工具。

致谢

本工作特别感谢我们的合作者——RIT 的博士生 Deepak Pandita 和 Christopher Homan 教授。