伯克利提出 SPEX 与 ProxySPEX：大规模识别 LLM 特征交互

理解复杂机器学习系统（尤其是大型语言模型，LLM）的行为，是现代人工智能领域的一项关键挑战。可解释性研究旨在让模型构建者和受影响的人类更透明地了解决策过程，这是迈向更安全、更可信 AI 的一步。为了获得全面的理解，我们可以从不同的视角分析这些系统：特征归因，即分离出驱动预测的特定输入特征（Lundberg & Lee, 2017；Ribeiro et al., 2022）；数据归因，即将模型行为与有影响力的训练样本联系起来（Koh & Liang, 2017；Ilyas et al., 2022）；以及机制可解释性，即剖析内部组件的功能（Conmy et al., 2023；Sharkey et al., 2025）。

在这些视角中，同一个根本性障碍始终存在：规模化下的复杂性。模型行为很少是孤立组件的结果；相反，它源于复杂的依赖关系和模式。为了达到最先进的性能，模型会综合复杂的特征关系，从多样化的训练样本中发现共享模式，并通过高度互联的内部组件处理信息。

因此，有根据的或经过现实检验的可解释性方法也必须能够捕捉这些有影响力的交互。随着特征、训练数据点和模型组件数量的增长，潜在交互的数量呈指数级增长，使得穷举分析在计算上不可行。在这篇博客文章中，我们描述了 SPEX 和 ProxySPEX 背后的基本思想，这些算法能够大规模识别这些关键交互。

通过消融进行归因

我们方法的核心是消融的概念，即通过观察移除某个组件时发生的变化来衡量影响。

• 特征归因：我们屏蔽或移除输入提示的特定片段，并测量由此产生的预测变化。
• 数据归因：我们在训练集的不同子集上训练模型，评估在缺少特定训练数据时模型对测试点的输出如何变化。
• 模型组件归因（机制可解释性）：我们通过移除特定内部组件的影响来干预模型的前向传播，确定哪些内部结构对模型的预测负责。

在每种情况下，目标都是相同的：通过系统地扰动系统来分离决策的驱动因素，以期发现有影响力的交互。由于每次消融都会产生显著成本，无论是通过昂贵的推理调用还是重新训练，我们的目标是以尽可能少的消融次数来计算归因。

屏蔽输入的不同部分，我们测量原始输出与消融输出之间的差异。

SPEX 和 ProxySPEX 框架

为了在可处理的消融次数下发现有影响力的交互，我们开发了 SPEX（Spectral Explainer）。该框架借鉴信号处理与编码理论，将交互发现推进到比先前方法大几个数量级的规模。SPEX 通过利用一个关键的结构性观察来规避这一难题：虽然交互总数大得惊人，但有影响力的交互实际上相当少。

我们通过两个观察来形式化这一点：稀疏性（真正驱动输出的交互相对较少）和低阶性（有影响力的交互通常只涉及一小部分特征）。这些性质使我们能够将困难的搜索问题重新表述为可求解的稀疏恢复问题。借助信号处理和编码理论中的强大工具，SPEX 使用策略性选择的消融将许多候选交互组合在一起。然后，利用高效解码算法，我们解开这些组合信号，以分离出对模型行为负责的特定交互。

在随后的算法 ProxySPEX 中，我们发现了复杂机器学习模型中常见的另一种结构性质：层次性。这意味着，当某个高阶交互重要时，其低阶子集很可能也重要。这一额外的结构性观察带来了计算成本的显著改善：它以大约少 10 倍的消融次数达到与 SPEX 相当的性能。总体而言，这些框架实现了高效的交互发现，开启了特征、数据和模型组件归因中的新应用。

特征归因

特征归因技术根据输入特征对模型输出的影响为其分配重要性分数。例如，如果使用 LLM 进行医学诊断，这种方法可以准确识别出哪些症状导致模型得出其结论。虽然将重要性归因于单个特征可能很有价值，但复杂模型的真正力量在于其捕捉特征之间复杂关系的能力。下图展示了这些有影响力交互的示例：从改变情感的双重否定（左）到 RAG 任务中多个文档的必要综合（右）。

下图展示了 SPEX 在情感分析任务上的特征归因性能。我们使用忠实度来评估性能：衡量恢复的归因在未见过的测试消融上预测模型输出的准确程度。我们发现，SPEX 在短输入上匹配了现有交互技术（Faith-Shap、Faith-Banzhaf）的高忠实度，并且独特地在上下文扩展到数千个特征时仍保持这一性能。相比之下，虽然边际方法（LIME、Banzhaf）也能在此规模下运行，但它们表现出显著更低的忠实度，因为它们未能捕捉驱动模型输出的复杂交互。

SPEX 还被应用于一个修改版的有轨电车难题，该版本移除了问题的道德模糊性，使“True”成为明确的正确答案。在如下修改后，GPT-4o mini 仅答对了 8% 的情况。当我们应用标准特征归因（SHAP）时，它识别出单词 trolley 的各个实例是驱动错误响应的主要因素。然而，将 trolley 替换为 tram 或 streetcar 等近义词对模型的预测几乎没有影响。SPEX 揭示了更丰富的故事，识别出两个 trolley 实例以及单词 pulling 和 lever, 之间存在主导性的高阶协同作用，这一发现与人类对该困境核心组成部分的直觉相符。当这四个词被替换为近义词后，模型的失败率降至接近零。

数据归因

数据归因识别哪些训练数据点对模型在新测试点上的预测负最主要责任。识别这些数据点之间有影响力的交互是解释模型意外行为的关键。冗余交互，如语义重复，往往会强化特定（且可能错误）的概念，而协同交互对于定义单个样本无法独自形成的决策边界至关重要。为证明这一点，我们将 ProxySPEX 应用于在 CIFAR-10 上训练的 ResNet 模型，为各种困难测试点识别出两种交互类型中最显著的示例，如下图所示。

如图所示，协同交互（左）通常涉及语义上不同的类别共同定义决策边界。例如，将协同作用建立在人类感知上，automobile（左下）与所提供的训练图像具有视觉特征上的相似性，包括跑车的低矮底盘、黄色卡车的方正外形以及红色送货车的水平条纹。另一方面，冗余交互（右）倾向于捕捉强化特定概念的视觉重复。例如，horse 预测（右中）受到一组轮廓相似的狗图像的强烈影响。这种细粒度分析使得开发新的数据选择技术成为可能，这些技术能够保留必要的协同作用，同时安全地移除冗余。

注意力头归因（机制可解释性）

模型组件归因的目标是识别模型的哪些内部部分，如特定层或注意力头，对某一特定行为负最主要责任。在这里，ProxySPEX 同样揭示了架构不同部分之间负责任的交互。理解这些结构依赖关系对于架构干预至关重要，例如针对特定任务的注意力头剪枝。在 MMLU 数据集（highschool‐us‐history）上，我们证明了一种由 ProxySPEX 指导的剪枝策略不仅优于竞争方法，而且实际上能够提升模型在目标任务上的性能。

在这项任务中，我们还分析了模型深度上的交互结构。我们观察到，早期层主要在近似线性的机制下运作，其中各注意力头对目标任务基本独立地做出贡献。在较后的层中，注意力头之间交互的作用变得更加显著，大部分贡献来自同一层内各注意力头之间的交互。

下一步是什么？

SPEX 框架是可解释性领域向前迈出的重要一步，将交互发现从数十个组件扩展到数千个组件。我们已展示了该框架在整个模型生命周期中的通用性：探索长上下文输入上的特征归因、识别训练数据点之间的协同与冗余，以及发现模型内部组件之间的交互。展望未来，围绕统一这些不同视角仍有许多有趣的研究问题，从而对机器学习系统形成更整体的理解。同样令人感兴趣的是，针对基因组学和材料科学等领域的现有科学知识，系统地评估交互发现方法，这既能对模型发现进行验证，也能生成新的、可检验的假设。

我们邀请研究社区与我们共同推进这项工作：SPEX 和 ProxySPEX 的代码已完全集成，并可在广受欢迎的 SHAP-IQ 代码库中获取。

• https://github.com/mmschlk/shapiq（SHAP-IQ Github）
• https://openreview.net/forum?id=KI8qan2EA7（ProxySPEX NeurIPS 2025）
• https://openreview.net/forum?id=pRlKbAwczl（SPEX ICML 2025）
• https://openreview.net/forum?id=glGeXu1zG4（Learning to Understand NeurIPS 2024）