arXiv cs.AI· Eoin M. Kenny, Salim I. Amoukou, Tom Bewley·· 10 小时前AI 评分31
用 MLLM 替代人类评估 XAI：NeurIPS 2026 提出“目的锚定”评估框架
Beyond Proxy Metrics: MLLMs as Human Surrogates for Explainable AI Evaluation
AI 导读
研究提出“目的锚定”评估框架，检验多模态大模型（MLLM）能否作为人类替代者来自动化 XAI 评估。在模型改进等五个目的领域、十四款主流 MLLM 上的测试显示，所有模型均呈正向趋势，OpenAI 与 Qwen 系列模型与人类对齐度更高，是实践中的推荐选择。作者强调该洞察并非取代用户测试，而是帮助研究者补充现有评估方法、减少对代理指标的依赖。
正文 · AI 翻译
摘要：可解释 AI（XAI）已发展为一个广泛且影响深远的研究领域，但如何最好地评估解释技术这一根本问题却始终令人难以捉摸。相关方法通常围绕两类途径展开：一类是代理指标，它们几乎无法告诉我们解释的实际效用；另一类是人工评估，尽管它通常被视为黄金标准，但成本高昂、难以规模化且难以复现。在本文中，我们研究多模态大语言模型（MLLM）能否充当替代人类参与者，以自动化 XAI 评估。为此，我们首先提出一个“以目的为基础”的评估框架，其指标同时适用于 MLLM 和人类用户。然后，我们就为何以及何时可以信任这些模型来自动化这一过程提供了一些概念性见解。最后，我们在模型改进等五个以目的为基础的领域以及十四个流行的 MLLM 上进行了广泛的实证测试。结果表明，所有模型均呈现积极趋势，但 OpenAI 和 Qwen 模型通常比其他变体表现出更高的一致性，这将是实践中推荐的选择。我们期望这些见解并非要取代用户测试，而是帮助 XAI 研究人员补充其当前的评估方法，并推动该领域摆脱对代理指标的严重依赖，以衡量解释效用。
| 评论： | 神经信息处理系统大会。NeurIPS 2026。悉尼 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.13926 [cs.AI] |
| （或 arXiv:2611.13926v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13926 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Eoin Kenny [查看电子邮件]
[v1]
2026年11月10日星期二 11:15:28 UTC（2,897 KB）
来源：arXiv cs.AI · arxiv.org