SPEX 框架发布:大规模识别 LLM 特征交互
伯克利 AI 研究所推出 SPEX 与 ProxySPEX 框架,旨在大规模识别大语言模型中的高阶特征交互。该工具整合了 SHAP-IQ 库,通过结合特征归因、数据归因和机制可解释性视角,提升模型决策透明度并支持生成可验证假设。目前代码已开源,适用于基因组学等垂直领域的模型行为分析。
报道正文
本文目录6 个章节

理解复杂机器学习系统(尤其是大语言模型,LLM)的行为,是现代人工智能面临的一项关键挑战。可解释性研究旨在使决策过程对模型构建者及受影响人群更加透明,这是迈向更安全、更可信 AI 的重要一步。为了获得全面理解,我们可以从不同视角分析这些系统:特征归因(feature attribution),用于隔离驱动预测的具体输入特征(Lundberg & Lee, 2017; Ribeiro et al., 2022);数据归因(data attribution),用于将模型行为与具有影响力的训练样本关联起来(Koh & Liang, 2017; Ilyas et al., 2022);以及机制可解释性(mechanistic interpretability),用于剖析内部组件的功能(Conmy et al., 2023; Sharkey et al., 2025)。
在这些视角中,一个根本性的障碍始终存在:规模化下的复杂性。模型行为很少是孤立组件的结果,而是源于复杂的依赖关系和模式。为了实现最先进的性能,模型会综合复杂的特征关系,从多样化的训练样本中提取共享模式,并通过高度互联的内部组件处理信息。
因此,基于现实验证的可解释性方法也必须能够捕捉这些具有影响力的交互作用。随着特征数量、训练数据点和模型组件数量的增加,潜在交互的数量呈指数级增长,使得穷尽式分析在计算上变得不可行。在这篇博客文章中,我们将介绍 SPEX 和 ProxySPEX 背后的基本理念,这两种算法能够在大规模场景下识别出这些关键的交互作用。
通过消融进行归因
我们方法的核心概念是消融(ablation),即通过观察移除某个组件后发生的变化来衡量其影响力。
- 特征归因: 我们对输入提示中的特定片段进行掩码或移除,并测量由此导致的预测结果变化。
- 数据归因: 我们在训练集的不同子集上训练模型,评估在缺失特定训练数据的情况下,模型对测试点的输出如何发生偏移。
- 模型组件归因(机制可解释性): 我们通过移除特定内部组件的影响来干预模型的前向传播过程,从而确定哪些内部结构负责模型的预测结果。
在每种情况下,目标都是一致的:通过系统地扰动系统来隔离决策的驱动因素,以期发现具有影响力的交互作用。由于每次消融实验都会产生高昂的成本——无论是昂贵的推理调用还是重新训练——我们的目标是使用尽可能少的消融实验来计算归因结果。

通过对输入的不同部分进行掩码处理,我们测量原始输出与消融后输出之间的差异。
SPEX 和 ProxySPEX 框架
为了在可处理的消融实验数量下发现有影响力的交互作用,我们开发了 SPEX(Spectral Explainer,谱解释器)。该框架借鉴信号处理和编码理论,将交互作用的发现规模推进到比先前方法大几个数量级的水平。SPEX 通过利用一个关键的结构观察来规避这一难题:尽管总交互作用的数量多到令人望而却步,但真正具有影响力的交互作用数量实际上相当少。
我们通过两个观察来形式化这一观点:稀疏性(相对较少的交互作用真正驱动了输出)和低阶性(有影响力的交互作用通常仅涉及一小部分特征)。这些属性使我们能够将困难的搜索问题重构为一个可解的稀疏恢复问题。借助来自信号处理和编码理论的强大工具,SPEX 使用策略性选择的消融实验将许多候选交互作用组合在一起。然后,利用高效的解码算法,我们将这些组合信号分离开来,以隔离出导致模型行为的具体交互作用。

在后续算法 ProxySPEX 中,我们发现了复杂机器学习模型中另一个常见的结构特性:层级性(hierarchy)。这意味着,如果某个高阶交互作用很重要,那么其低阶子集很可能同样重要。这一额外的结构性观察带来了计算成本的大幅降低:它在仅需 约 1/10 的消融实验次数 的情况下,即可达到与 SPEX 相当的性能。这些框架共同实现了高效的交互发现,为特征、数据及模型组件归因开辟了新的应用前景。
特征归因
特征归因技术根据输入特征对模型输出的影响程度,为其分配重要性分数。例如,若使用 LLM 进行医疗诊断,该方法可以准确识别出哪些症状导致了模型的最终结论。虽然对单个特征进行重要性归因具有价值,但复杂模型的真正威力在于捕捉特征之间复杂关系的能力。下图展示了这些具有影响力的交互示例:从改变情感倾向的双重否定(左图),到 RAG 任务中对多文档信息的必要综合(右图)。

下图展示了 SPEX 在情感分析任务上的特征归因性能。我们使用 忠实度(faithfulness)来评估性能,该指标衡量恢复出的归因结果在未见过的测试消融实验中预测模型输出的准确程度。我们发现,在短输入场景下,SPEX 达到了与现有交互归因技术(Faith-Shap, Faith-Banzhaf)相当的高忠实度;并且随着上下文规模扩展至数千个特征时,SPEX 依然能保持这一性能。相比之下,边际方法(LIME, Banzhaf)虽然也能在此规模下运行,但由于未能捕捉驱动模型输出的复杂交互作用,其忠实度显著较低。

SPEX 还被应用于电车难题的一个修改版本,在该版本中消除了问题的道德模糊性,使得“True”成为明确正确的答案。针对以下修改后的问题,GPT-4o mini 仅有 8% 的情况下给出了正确回答。当我们应用标准的特征归因方法(SHAP)时,它识别出单词 trolley 的单个实例是导致错误响应的主要因素。然而,将 trolley 替换为同义词如 tram 或 streetcar 对模型的预测几乎没有影响。SPEX 揭示了一个更为丰富的故事,识别出两个 trolley 实例之间以及单词 pulling 和 lever 之间存在主导的高阶协同效应,这一发现与人类对该困境核心组成部分的直觉相吻合。当这四个词被替换为同义词时,模型的失败率降至接近零。

数据归因
数据归因旨在确定哪些训练数据点对模型在新测试点上的预测负有最大责任。识别这些数据点之间的有影响力交互是解释意外模型行为的关键。冗余交互(例如语义重复)通常会强化特定(且可能不正确)的概念,而协同交互对于定义任何单个样本都无法独立形成的决策边界至关重要。为了演示这一点,我们将 ProxySPEX 应用于在 CIFAR-10 上训练的 ResNet 模型,识别出多种困难测试点上这两类交互的最显著示例,如下图所示。

如图所示,协同交互(左图)通常涉及语义上截然不同的类别共同作用以定义决策边界。例如,从人类感知的角度来理解这种协同效应,汽车(左下角)与提供的训练图像共享视觉特征,包括跑车的低矮底盘、黄色卡车的方正外形以及红色配送车辆的水平条纹。另一方面,冗余交互(右图)往往捕捉到强化特定概念的视觉重复项。例如,马的预测结果(右中图)深受一组轮廓相似的狗图像的影响。这种细粒度的分析使得开发新的数据选择技术成为可能,这些技术能够在保留必要协同效应的同时安全地移除冗余信息。
注意力头归因(机制可解释性)
模型组件归因的目标是识别模型的哪些内部部分(如特定层或注意力头)对某种行为负有最大责任。在这方面,ProxySPEX 同样揭示了架构不同部分之间的负责交互关系。理解这些结构依赖关系对于架构干预至关重要,例如针对特定任务的注意力头剪枝。在 MMLU 数据集(高中美国历史)上,我们证明了一种基于 ProxySPEX 信息的剪枝策略不仅优于其他竞争方法,而且实际上可以提高模型在目标任务上的性能。

在该任务上,我们还分析了模型深度范围内的交互结构。我们观察到,早期层主要在一种线性状态下运行,其中各个注意力头在很大程度上独立地对目标任务做出贡献。而在后期层中,注意力头之间交互的作用变得更加显著,大部分贡献来自于同一层内各头之间的交互。

未来展望
SPEX 框架是可解释性领域的一大重要进展,它将交互发现的范围从数十个组件扩展到了数千个组件。我们已展示了该框架在整个模型生命周期中的通用性:探索长上下文输入的特征归因、识别训练数据点之间的协同与冗余关系,以及发现模型内部组件间的交互作用。展望未来,如何统一这些不同的视角以提供更全面的机器学习系统理解,仍有许多值得探讨的研究问题。此外,将交互发现方法与基因组学、材料科学等领域的现有科学知识进行系统性评估也极具价值,这既有助于验证模型发现的可靠性,也能催生新的、可检验的假设。
我们邀请研究社区加入这一行列:SPEX 和 ProxySPEX 的代码均已完全集成并发布于广受欢迎的 SHAP-IQ 代码库中。