arXiv cs.AI· Gregor Baer, Chao Zhang, Isel Grau, Pieter Van Gorp·· 10 小时前AI 评分31
解释正确性是否影响人类理解？XAI 计算评估与人类理解的关联研究
Does Explanation Correctness Matter? Linking Computational XAI Evaluation to Human Understanding
AI 导读
一项 N=200 的用户研究发现，XAI 解释的功能正确性并非在所有水平上都转化为更好的人类理解：在合成时间序列分类任务中，正确性降至 70% 和 55% 时参与者前向模拟准确率较 100% 下降，但 85% 与 100% 之间无显著差异，且低于 70% 后不再进一步下降。正确性下降主要减少准确预测的参与者人数而非均匀降低准确率，即使解释完全正确也只有部分参与者显著高于随机水平。
正文 · AI 翻译
摘要：可解释 AI（XAI）方法通常使用功能正确性指标（也称为忠实度或保真度）进行评估，这些指标估计解释在多大程度上反映了模型的推理过程。人们假设更高的正确性会带来更好的人类理解，但这一联系尚未在受控水平下得到检验。我们开展了一项用户研究（N=200），在一个合成时间序列分类任务中，将解释正确性操纵为四个水平（100%、85%、70%、55%），在该任务中参与者无法依赖领域知识或视觉直觉。解释被构造为类似特征归因的形式，其正确性依据已知的真实基准来定义，而非从训练好的模型中估计。参与者根据这些解释预测一个模拟 AI 的决策（前向模拟），我们使用他们的前向模拟准确率作为理解的代理指标。正确性影响了前向模拟准确率，但并非在每个水平上都如此：相对于 100%，准确率在 70% 和 55% 时下降，而在 70% 以下没有进一步下降，85% 与 100% 之间也没有得出确定性差异。较低的正确性减少的是预测准确的参与者人数，而非均匀地降低准确率；而且即使解释完全正确，也只有一部分参与者的预测显著高于随机水平。在探索性分析中，一些参与者能准确预测决策，但在被问及 AI 使用了什么时却描述了错误的模式；并且只有当解释完全正确时，自我报告的评分才与前向模拟准确率相关。这些发现表明，对于特征归因式解释，并非所有功能正确性的差异都会转化为人类理解的差异，这凸显了需要用人 类结果来验证功能指标。
| 评论： | 33 页，11 张图，3 张表 |
| 主题： | 人机交互（cs.HC）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2603.25251 [cs.HC] |
| （或使用 arXiv:2603.25251v3 [cs.HC] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2603.25251 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gregor Baer [查看邮箱]
[v1]
2026 年 3 月 26 日星期四 09:55:10 UTC（401 KB）
[v2]
2026 年 8 月 11 日星期二 11:29:30 UTC（451 KB）
[v3]
2026 年 11 月 4 日星期三 09:05:09 UTC（452 KB）
来源：arXiv cs.AI · arxiv.org