术语slug: evaluability

可评估性

Evaluability

在测试样本可能参与训练的前提下,仍能对模型性质做出准确评估的理论性质

收录情报动态

共 1 篇 · 第 1/1 页
Apple Machine Learning ResearchT1·基座大模型
58 分
研究提出可评估性理论 破解测试集污染难题

该论文在放弃“测试集与训练集严格隔离”这一经典假设的前提下,形式化了“可评估性”(evaluability)概念,系统研究了黑盒模型在测试样本可能已被用于训练时的评估可行性。作者完整刻画了能够实现准确评估的分布类,并给出了评估样本复杂度的紧致上下界,结论是黑盒评估可行当且仅当数据分布接近某一特定条件。