arXiv cs.CL· Sungjun Lim, Heedong Kim, Andrew Lee, Kyungwoo Song·· 11 小时前AI 评分26
Geometry-Adaptive Explainer：分布偏移下基于字典的可解释性保真方法
Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift
AI 导读
研究提出 Geometry-Adaptive Explainer（GAE），通过将字典与 OOD 活跃子空间重新对齐，缓解分布偏移导致的字典错位问题，且仅需无标注 OOD 激活、无需梯度更新。
正文 · AI 翻译
摘要：机制可解释性旨在通过识别具有因果作用的内部结构来解释模型的行为。基于字典的解释器（如稀疏自编码器和转码器）是主要工具，但它们在分布外（OOD）偏移下的忠实度却很少得到系统性的关注。我们表明，分布偏移会旋转模型实际使用的子空间，使解释器在分布内（ID）激活上训练的字典发生错位。我们将这种错位形式化为忠实度差距，即 ID 字典与 OOD 活跃子空间之间的几何距离，并证明它界定了额外的 OOD 投影损失。为缩小这一差距，我们提出了几何自适应解释器（GAE），它在保留原始稀疏特征激活的同时，将字典与 OOD 活跃子空间重新对齐。这仅需无标签的 OOD 激活，且无需梯度更新。对于自适应后的字典，我们还界定了由任何剩余忠实度差距所引起的额外投影损失。在实证上，GAE 在多个模型和 OOD 设置下的因果忠实度甚至达到或超过了所有基于训练的基线。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2605.21849 [cs.LG] |
| （或使用 arXiv:2605.21849v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.21849 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sungjun Lim [查看邮箱]
[v1]
2026年5月21日 星期四 00:46:01 UTC（554 KB）
[v2]
2026年11月4日 星期三 05:43:59 UTC（661 KB）
来源：arXiv cs.CL · arxiv.org