arXiv cs.AI· Rukmangadh Sai Myana, Sumit Kumar Jha, Yanzhao Wu·· 10 小时前AI 评分20
熵正则化 Integrated Gradients(ERIG):稳定特征归因的新方法
Entropy-Regularized Integrated Gradients for Stable Feature Attribution
AI 导读
研究者提出熵正则化 Integrated Gradients(ERIG),通过在积分路径上使用带温度参数 τ 的最大熵 softmax 加权来抑制梯度不规则性,从而稳定特征归因。
正文 · AI 翻译
摘要:基于路径的归因方法(如积分梯度,IG)被广泛用于解释神经网络,然而不可察觉的输入扰动可以大幅改变其归因图,同时保持模型预测不变。我们提出熵正则化积分梯度(ERIG),这是一种基于路径的归因方法,它使用带有温度参数 $\tau$ 的最大熵 softmax 加权,从本质上衰减积分路径上的梯度不规则性。我们利用模型及其梯度的 Lipschitz 性质,量化熵正则化加权对归因稳定性的影响。我们将输入扰动下的归因变化分解为模型响应项(其界与 $\tau$ 无关)和权重变化项(其界以 $\mathcal{O}(1/(2\tau))$ 的速率下降)。它们的比值 $R(\tau)$ 刻画了梯度信息与归因稳定性之间的权衡。我们进一步通过将经典噪声估计器改编为两个指标 LINV-C 和 LINV-P 来量化归因噪声,从而为归因评估增加了一个新维度。在 ImageNet 和 Oxford-IIIT Pet 数据集上的十一个 CNN 和 Transformer 骨干网络上,我们的实验表明,相对于次优方法,ERIG 在基于排序的保真度指标上保持相当,同时平均将定位性能提升约 24%,将归因稳定性提升约 47 倍,最高可达相对于 IG 四个数量级的提升,而额外计算成本可忽略不计。
| 评论: | 36 页,19 幅图,27 张表,包括附录 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2611.23600 [cs.LG] |
| (或 arXiv:2611.23600v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23600 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Rukmangadh Sai Myana [查看电子邮件]
[v1]
2026 年 11 月 17 日星期二 22:53:17 UTC(11,540 KB)
来源:arXiv cs.AI · arxiv.org