Apple Machine Learning ResearchT1·基座大模型
58 分
该论文在放弃“测试集与训练集严格隔离”这一经典假设的前提下,形式化了“可评估性”(evaluability)概念,系统研究了黑盒模型在测试样本可能已被用于训练时的评估可行性。作者完整刻画了能够实现准确评估的分布类,并给出了评估样本复杂度的紧致上下界,结论是黑盒评估可行当且仅当数据分布接近某一特定条件。
Evaluability
在测试样本可能参与训练的前提下,仍能对模型性质做出准确评估的理论性质
该论文在放弃“测试集与训练集严格隔离”这一经典假设的前提下,形式化了“可评估性”(evaluability)概念,系统研究了黑盒模型在测试样本可能已被用于训练时的评估可行性。作者完整刻画了能够实现准确评估的分布类,并给出了评估样本复杂度的紧致上下界,结论是黑盒评估可行当且仅当数据分布接近某一特定条件。