Google ResearchT1·基座大模型
58 分
针对 AI 基准测试中因忽略人类分歧导致可复现性低的问题,新研究提出了 (N,K) 权衡框架。该框架通过数学模型量化“每样本标注员数量”与“总样本数”之间的资源分配关系,旨在以有限预算最大化评估结果的稳定性与可信度。
Human Annotation
由人类专家为数据添加标签或评估结果的过程
针对 AI 基准测试中因忽略人类分歧导致可复现性低的问题,新研究提出了 (N,K) 权衡框架。该框架通过数学模型量化“每样本标注员数量”与“总样本数”之间的资源分配关系,旨在以有限预算最大化评估结果的稳定性与可信度。