语言模型是否信任自己的解释？一项关于功能一致性的研究

查看 PDF HTML（实验性）

摘要：大语言模型（LLM）已被广泛应用于文本分类任务，它们不仅输出类别预测，还会生成解释，突出显示被认为对得出预测标签最相关的词元。然而，这些被突出的元素在针对性干预下是否与模型自身的预测在行为上保持一致，仍不清楚，我们将此称为功能性自洽。尽管大量文献评估了此类解释的文本合理性，但很少有研究评估其与模型实际行为的功能一致性。在本工作中，我们基于自洽原则提出了一个实验框架：如果模型将某些词元认定为决定性因素，那么隔离、移除或语义反转这些词元，应当使其预测产生系统且可解释的变化。我们通过充分性、全面性和反事实性指标来实施这一评估，并在 IMDB 和 Steam 评论上对闭源（GPT-4o-mini）和开源 LLM（Gemma3、Granite8B、DeepSeek）进行了实验。结果表明，GPT-4o-mini 在所有指标上均遵循预期进展，Gemma3 和 Granite8B 在充分性下保持连贯，但在更严苛的干预下失去一致性，而 DeepSeek 各变体则表现出结构性偏差，或未能保持充分性，或在全面性和反事实性下反应过度。这些发现表明，解释的可靠性因 LLM 系列和规模而异，较小的模型表现出矛盾，较大的模型则表现出过度敏感。通过结合充分性、全面性和反事实性，我们的方法为评估 LLM 自解释的功能一致性提供了一套系统的方法论。

评论：	6 页，2 幅图，1 张表。作者接受稿。发表于 International Joint Conference on Neural Networks (IJCNN)，荷兰马斯特里赫特，2026 年
主题：	人工智能（cs.AI）；机器学习（cs.LG）
引用为：	arXiv:2610.32665 [cs.AI]
	（或 arXiv:2610.32665v1 [cs.AI] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.32665 由 DataCite 颁发的 arXiv DOI（待注册）
期刊参考：	2026 International Joint Conference on Neural Networks (IJCNN)，荷兰马斯特里赫特，2026 年，第 1-6 页
相关 DOI：	https://doi.org/10.1109/IJCNN69854.2026.11728410 链接到相关资源的 DOI

提交历史

来自：Alisson Rosa [查看电子邮件]
[v1] 2026 年 10 月 23 日星期五 14:08:32 UTC（3,327 KB）