跳到正文
arXiv cs.AI· Rukmangadh Sai Myana, Sumit Kumar Jha, Yanzhao Wu·· 10 小时前AI 评分20

熵正则化 Integrated Gradients(ERIG):稳定特征归因的新方法

Entropy-Regularized Integrated Gradients for Stable Feature Attribution

AI 导读

研究者提出熵正则化 Integrated Gradients(ERIG),通过在积分路径上使用带温度参数 τ 的最大熵 softmax 加权来抑制梯度不规则性,从而稳定特征归因。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:基于路径的归因方法(如积分梯度,IG)被广泛用于解释神经网络,然而不可察觉的输入扰动可以大幅改变其归因图,同时保持模型预测不变。我们提出熵正则化积分梯度(ERIG),这是一种基于路径的归因方法,它使用带有温度参数 $\tau$ 的最大熵 softmax 加权,从本质上衰减积分路径上的梯度不规则性。我们利用模型及其梯度的 Lipschitz 性质,量化熵正则化加权对归因稳定性的影响。我们将输入扰动下的归因变化分解为模型响应项(其界与 $\tau$ 无关)和权重变化项(其界以 $\mathcal{O}(1/(2\tau))$ 的速率下降)。它们的比值 $R(\tau)$ 刻画了梯度信息与归因稳定性之间的权衡。我们进一步通过将经典噪声估计器改编为两个指标 LINV-C 和 LINV-P 来量化归因噪声,从而为归因评估增加了一个新维度。在 ImageNet 和 Oxford-IIIT Pet 数据集上的十一个 CNN 和 Transformer 骨干网络上,我们的实验表明,相对于次优方法,ERIG 在基于排序的保真度指标上保持相当,同时平均将定位性能提升约 24%,将归因稳定性提升约 47 倍,最高可达相对于 IG 四个数量级的提升,而额外计算成本可忽略不计。
评论: 36 页,19 幅图,27 张表,包括附录
主题: 机器学习(cs.LG);人工智能(cs.AI);计算机视觉与模式识别(cs.CV)
引用为: arXiv:2611.23600 [cs.LG]
  (或 arXiv:2611.23600v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23600

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Rukmangadh Sai Myana [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 22:53:17 UTC(11,540 KB)

来源:arXiv cs.AI · arxiv.org