Apple Machine Learning ResearchT1·基座大模型
58 分
该论文在放弃“测试集与训练集严格隔离”这一经典假设的前提下,形式化了“可评估性”(evaluability)概念,系统研究了黑盒模型在测试样本可能已被用于训练时的评估可行性。作者完整刻画了能够实现准确评估的分布类,并给出了评估样本复杂度的紧致上下界,结论是黑盒评估可行当且仅当数据分布接近某一特定条件。
Test Set Contamination
评测数据在训练阶段被模型见过,导致评估结果失真的现象
该论文在放弃“测试集与训练集严格隔离”这一经典假设的前提下,形式化了“可评估性”(evaluability)概念,系统研究了黑盒模型在测试样本可能已被用于训练时的评估可行性。作者完整刻画了能够实现准确评估的分布类,并给出了评估样本复杂度的紧致上下界,结论是黑盒评估可行当且仅当数据分布接近某一特定条件。