arXiv cs.CY· Grant Shanklin, Ji\v{r}\'i N\v{e}me\v{c}ek, Asia Biega·· 10 小时前AI 评分27
如何应对解释忠实性评估标准之间的分歧
Navigating Disagreement Among Criteria for Evaluating Explanation Faithfulness
AI 导读
针对同一解释是否忠实，现有评估标准可能给出相互矛盾的结论。研究者提出一个忠实性函数框架，将分歧定位在解释对模型作出何种断言、哪些比较与断言相关、以及如何聚合这些比较三个环节，并据此重构现有评估标准。以不利行动通知为案例的研究显示，具体场景可论证部分选择、缩小标准间的取舍空间。
正文 · AI 翻译
摘要：忠实性要求算法解释准确反映模型的行为。然而，现有的忠实性操作化定义可能对同一解释是否忠实产生分歧，使开发者和审计者不得不在相互冲突的评估之间做出选择。本文研究了评估标准之间的分歧，并为评估解释忠实性提供了一条切实可行的路径。我们首先识别出忠实性操作化定义之间的差异所在。我们引入一个忠实性函数，将其分歧定位在解释对模型所作的断言、哪些比较与该断言相关，以及这些比较之间的一致性应如何聚合，并在其中重构现有的评估标准。我们认为，这些重构支持将忠实性理解为模型与解释之间一种共同但未完全明确的关系，因此这些差异反映的是总体要求所留下的选择空间。于是，为某一操作化定义辩护就归结为为这些选择辩护，而在我们看来，这需要借助解释性、制度性和规范性方面的考量。我们通过对不利行动通知的案例研究来支持这一论点，重构了一项行业提议程序中所隐含的评估，并识别出该情境为其中哪些选择提供了正当理由、哪些仍悬而未决。我们的工作为审计者和从业者提供了一种应对相互分歧的忠实性评估的方法。它还解释了为何文献中应当预期存在多种操作化定义，同时展示了具体情境如何能够缩小它们之间的选择范围。更广泛地说，我们的分析表明，尽管现有指标之间存在分歧，共同的忠实性要求仍能支持情境化的正当评估。
| 主题： | 机器学习（cs.LG）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2611.06846 [cs.LG] |
| （或 arXiv:2611.06846v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06846 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Grant Shanklin [查看邮箱]
[v1]
2026年11月4日星期三 18:03:15 UTC（164 KB）
来源：arXiv cs.CY · arxiv.org