术语slug: test-set-contamination

测试集污染

Test Set Contamination

评测数据在训练阶段被模型见过,导致评估结果失真的现象

收录情报动态

共 1 篇 · 第 1/1 页
Apple Machine Learning ResearchT1·基座大模型
58 分
研究提出可评估性理论 破解测试集污染难题

该论文在放弃“测试集与训练集严格隔离”这一经典假设的前提下,形式化了“可评估性”(evaluability)概念,系统研究了黑盒模型在测试样本可能已被用于训练时的评估可行性。作者完整刻画了能够实现准确评估的分布类,并给出了评估样本复杂度的紧致上下界,结论是黑盒评估可行当且仅当数据分布接近某一特定条件。