术语slug: sample-complexity

样本复杂度

Sample Complexity

达到给定评估精度所需的测试样本数量,本文给出其紧致上下界

收录情报动态

共 1 篇 · 第 1/1 页
Apple Machine Learning ResearchT1·基座大模型
58 分
研究提出可评估性理论 破解测试集污染难题

该论文在放弃“测试集与训练集严格隔离”这一经典假设的前提下,形式化了“可评估性”(evaluability)概念,系统研究了黑盒模型在测试样本可能已被用于训练时的评估可行性。作者完整刻画了能够实现准确评估的分布类,并给出了评估样本复杂度的紧致上下界,结论是黑盒评估可行当且仅当数据分布接近某一特定条件。