新框架实现机器遗忘黑盒审计
研究人员提出一种无需访问模型内部或原始训练数据的机器遗忘审计新框架。该方案利用双样本检验等统计方法,仅通过查询输出即可数学化验证隐私删除效果,大幅降低合规成本并提升审计效率。
报道正文
本文目录6 个章节
机器遗忘允许 AI 系统“遗忘”其训练数据中的特定部分,而无需承担从头重新训练模型的高昂成本。这对于监管合规(如 GDPR 的“被遗忘权”)、AI 安全以及模型质量至关重要。
随着模型处理的数据集规模日益庞大且敏感度不断提高,验证机器遗忘已从理论上的理想状态转变为严格的要求,开发者现在必须通过数学方法证明隐私保护的有效性。然而,由于审计人员通常无法访问模型的内部机制或原始训练数据,他们只能通过对系统进行查询并分析输出样本来进行严格验证。
数据科学家和研究人员在验证过程中依赖的一种方法是双样本检验,这是一种统计方法,用于确定两组数据观测值是否来自完全不同的底层分布。例如,为了验证遗忘效果,审计人员可能会比较一个从未见过特定记录的模型与一个声称已“遗忘”该记录的模型的输出。如果两者的输出在定义的阈值内存在统计学上的显著差异,则说明遗忘失败。
随着模型规模和复杂性的增长,用于机器遗忘审计的双样本检验及其他统计工具变得难以实施,且其统计功效也会下降。为了从大规模模型固有的随机噪声中识别出真实的违规行为,并确保足够的统计显著性,审计人员需要提取大量的样本。这使得现实世界中的测试在计算上变得极其昂贵。
为应对这一日益严峻的挑战,我们推出了 正则化 f-散度核检验(Regularized f-Divergence Kernel Tests),该框架已在 AISTATS 2026 会议上展示。这是一种旨在显著提升机器学习模型审计灵敏度、灵活性和准确性的新框架。我们从理论上证明,我们的检验方法能够在任意样本量下自然控制假阳性率,并且随着可用数据样本数量的增加,漏检风险(即假阴性)能够可靠地收敛至零。
挑战所在:为何标准工具力不从心
评估模型安全性通常要求衡量两个复杂数据集之间的距离或散度(divergence)。不同的应用场景天然需要不同的“距离”度量概念。虽然诸如 最大均值差异(MMD)等流行的标准工具在检测数据的广泛全局偏移(例如,模型系统性地生成比对照模型更明亮的图像)方面表现出色,但它们往往缺乏捕捉复杂异常所需的特异性。例如,如果添加特定个人的数据导致模型仅在以非常精确的方式提示时生成高度特定的离群输出——而在其他所有样本上保持相同的分布——传统的 MMD 检验可能会完全忽略这种局部偏移。
此外,大多数现有的测试框架迫使研究人员做出容易出错的手动选择,例如挑选最适合全局或局部偏移的特定统计量,或者调整复杂的设置,如 核带宽 和 正则化 参数。
除了在实际操作中难以应用外,作为验证方法的双样本检验在验证机器学习模型的遗忘(unlearning)效果时也存在问题。请考虑以下示例,它展示了两个从零开始使用完全相同数据训练的模型如何产生不同的分布。蓝色分布代表在未包含受损数据的情况下重新训练的模型的分布。然而,由于使用了不同的批量大小进行重训练,其分布与标准分布(绿色)不同。这导致了假阳性结果,错误地表明被测模型是不安全的。
此外,近期研究表明,仅通过调整当前设置,AI 模型永远无法完美地“遗忘”数据;除非重新追溯其原始训练的每一步,否则它总会留下本应删除信息的永久痕迹。因此,对于标准的局部遗忘算法而言,实现完美的“重训练等效性”从根本上是不可能的,且传统的两样本检验总能发现对“遗忘集”的依赖。
框架
我们通过提出一种相对距离检验来解决这一挑战,该检验用于衡量经过遗忘处理的模型在分布上更接近于安全重训练的模型,还是更接近于原始的、已泄露数据的模型。
我们的测试充当了一个高度自适应的统计工具包,利用 f-散度 使审计人员能够精准定位特定类型的数据偏移,包括:
- 卡方散度和 Kullback-Leibler (KL) 散度:这些散度在识别数据中平滑且局部的差异(例如物理模型中的异常值)方面非常有效。
- 曲棍球棒散度:专门捕捉隐私和遗忘的定义,这种散度通过一个控制统计不可区分程度的参数进行操作。它有效地建立了一个可接受的阈值,忽略低于安全预算的微小差异,仅在发生有意义的隐私泄露时触发警报。
在高维真实世界数据上计算这些散度众所周知是极其困难的。为了使这些复杂的优化问题变得易于处理,而无需消耗大量算力,我们使用 核正则化方法 来高效估计差异。
我们的自适应测试方法会自动选择最佳散度和最优超参数配置,以最大化测试的可靠性,从而完全消除对样本划分的需求。
实验
由于我们提出的测试具有通用性,我们在多种问题上进行了实验。我们在扰动均匀分布(合成双样本基准测试)以及物理数据集中的 Expo1D 异常检测任务上评估了我们的框架——这是一个利用机器学习在粒子物理标准模型之外寻找新物理现象的专业领域。我们使用高能物理数据,是因为该领域需要世界上最精密的“差异检测器”——其理念在于:如果该框架能够发现一种违背物理定律的稀有粒子,那么它也能发现 AI 模型中微小的隐私泄露。
随后,我们将主要关注点转向审计差分隐私和评估机器遗忘这两个关键的现实世界应用:
- 隐私审计:差分隐私通过引入校准噪声来保护用户数据,从而限制任何单个个体的影响范围。我们通过采样多个非私有机制在两个仅相差一条记录的模拟数据集上的输出结果对其进行了测试。如果某个机制真正具备隐私性,则生成的两个样本应当不可区分;如果存在缺陷,测试应能标记出隐私违规情况。
- 机器遗忘评估:我们没有依赖那种有缺陷的方法——即简单地将一个金标准模型(在不包含被遗忘数据的情况下从头重新训练的模型)与经过遗忘处理的模型进行比较,而是采用了一种三样本相对测试方法,并将其应用于各种现有的遗忘算法,包括选择性突触抑制、剪枝和随机标签技术。我们的测试旨在评估经过遗忘处理的模型分布是更接近安全的金标准模型,还是更接近主动记忆敏感数据的原始全量训练模型。
结果
我们的框架成功复现或超越了所有先前的基线方法,且所需的人工调优显著减少。
[注:本文篇幅超长,以上为核心前篇精译,后续内容保留原文呈现]
The experimental results demonstrated that no single test consistently outperforms the others across every possible scenario. Instead, different f-divergences act as specialized sensors that "light up" for different types of localized data shifts. By using an aggregated approach across diverse statistics, our framework successfully caught subtle errors and anomalies that standard tests completely missed.
For privacy auditing, the hockey-stick divergence test proved to be a powerful and effective tool. Because it directly aligns with the mathematical foundations of pure differential privacy, it allows auditors to tightly control the acceptable degree of data shift. Our adaptive testing framework successfully caught privacy violations using significantly fewer data samples and requiring far less hyperparameter tuning than previous baseline testers.
In one notable instance, our framework detected violations in a specific sparse vector technique mechanism (SVT3) using only a few thousand samples, while previously studied techniques like DP-Auditorium required millions of samples to approximate the same violation detection rate.
Our findings also suggest a redefinition of how to evaluate machine unlearning. As shown in the table below, we observed that none of the approximate unlearning methods we evaluated were compliant with the strict, standard two-sample unlearning definition. Because two-sample tests simply look for any distributional difference, they incorrectly flagged perfectly safe, retrained models as unlearning failures.
In contrast, our proposed relative three-sample test successfully overcame this flaw. It correctly and consistently identified the safely retrained models as "safe". When evaluating the approximate unlearning algorithms, only the random label technique passed the evaluation.
Other popular methods, such as finetuning, pruning, and Selective Synaptic Dampening, were found to be ineffective at truly forgetting the targeted data. We emphasize that our primary goal in these experiments was the evaluation of the unlearning methodologies, rather than designing the algorithms themselves. Consequently, we used simplified implementations of these unlearning procedures; more rigorous setups will be required to rank unlearning methods in practical production environments.
Conclusion
Our newly proposed framework provides a much more precise, adaptable, and mathematically sound lens for examining ML behavior. By leveraging regularized f-Divergence kernel tests, researchers and auditors can now statistically prove whether a model is behaving unsafely or leaking data across a massive class of problems and complex distributional shifts.
As this field evolves, theoretically grounding our empirical observations to characterize exactly which specific divergence is optimal for other novel tasks remains an exciting direction for future work. Establishing tighter sample complexity bounds will also be a key focus to make these audits even more efficient.
Acknowledgements
The work described here was done jointly with Antonin Schrab and Arthur Gretton. We thank Nicole Mitchell and Eleni Triantafillou for insightful feedback, and Kimberly Schwede for the graphics and Mark Simborg for helpful edits.