arXiv cs.AI· Samuel Xie, Noura Al-Moubayed·· 3 天前AI 评分20
SHAP 作为 SAE 特征归因方法的因果忠实性评估
Evaluating the Causal Faithfulness of SHAP as a Candidate Attribution Method for SAE Features
AI 导读
研究将 SHAP 归因应用于 SAE 潜在特征，并以 GPT-2 Small 在 SST-2 情感分类上的直接因果干预为基准进行检验。多数忠实性关联未通过多重比较校正，且相互高度一致的归因方法（ρ=0.42–0.80）与实测因果效应吻合度差。在已知真值的最小对中，归因能较好识别插入的情感信号（AUROC 0.792），却难以定位删除（AUROC 0.520）。
正文 · AI 翻译
摘要：稀疏自编码器将语言模型表示分解为可解释特征，但该文献中的特征解释仍以相关性为主。归因方法能更直接地估计特征影响，然而在 SAE 场景下，其对实际因果效应的忠实性尚未得到系统评估。我们将基于 SHAP 的归因应用于 SAE 潜在特征，并以直接因果干预为基准进行评估，使用 GPT-2 Small 在 SST-2 上的情感分类任务以及一个具有 32,768 个特征的第 7 层 SAE 作为测试平台。我们在线性探针和 MLP 探针分支中，将 SHAP 与 Integrated Gradients、Gradient$\times$Input 以及探针权重基线进行比较，并以特征消融和通过语言模型自身 logit 差异测量的激活引导为基准对每种方法评分。我们测量的大多数忠实性关联在多重比较校正后均不显著，而彼此高度一致的归因方法（$\rho = 0.42$--$0.80$）与测得的因果效应一致性很差，这表明方法间的一致性并不能证明因果忠实性。有两个效应在控制条件下成立。第一，局部逐样本归因相对于全局平均归因保持了方向性优势，而其表面上的重要性优势可由特征活跃度解释，而非更优的因果排序。第二，在已知真实标签的最小对比对下，归因能远高于随机水平地恢复插入的情感信号（AUROC $0.792$），但无法定位删除（AUROC $0.520$），这表明这些方法检测特征影响存在的能力比检测其缺失更可靠。我们认为，重要性忠实性和方向性忠实性是可分离的属性，需要分别评估，并且归因一致性不应替代因果验证。
| 评论： | 24 页，3 幅图；拟投稿至 International Journal of Secondary Computing and Applications Research |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.17898 [cs.LG] |
| （或 arXiv:2610.17898v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17898 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Samuel Xie [查看邮箱]
[v1]
2026 年 10 月 13 日星期二 07:54:39 UTC（611 KB）
来源：arXiv cs.AI · arxiv.org