arXiv cs.AI· Bharath Kumar Bolla, Chaitali Deb Purkayastha, Vishnu Surya Reddy Nandi·· 3 天前AI 评分37
答案对不代表推理对：临床决策支持中 LLM 忠实度的准确率、一致性与共识指标具有误导性
Right Answer, Wrong Reason: Accuracy, Consistency, and Consensus Are Misleading Indicators of LLM Faithfulness in Clinical Decision Support
AI 导读
研究提出 ESI、CFS、PSS 三项可解释指标衡量临床 LLM 的忠实度缺口，在 150 道 MedQA-USMLE 题、6 个模型共 900 次观测中，仅 23.3% 被引用的临床概念是因果必要的。
正文 · AI 翻译
摘要：临床大型语言模型（LLM）在医学考试中取得了很高的准确率；然而，正确答案并不能保证其解释中提及的概念就是真正驱动决策的概念。我们为此忠实性差距引入了三个轻量级、可直接解释的指标：解释稳定性指数（ESI），衡量重复查询下的推理一致性；因果忠实性得分（CFS），通过概念消融检验所引用的概念是否驱动预测；以及扰动稳定性得分（PSS），衡量对语义保持改写的鲁棒性。通过在 150 道 MedQA-USMLE 题目上评估六个 LLM（900 次模型-题目观测），我们发现只有 23.3% 的所引用临床概念是因果必要的。正确答案的 CFS 低于错误答案（0.212 对 0.398），答案一致性与 CFS 呈负相关（Spearman r = -0.466），并且模型对可以在答案上一致，却仅共享 8.8% 的所引用推理概念。这些结果表明，准确率、一致性和共识对于临床决策支持而言是不完整的安全信号。该证据是行为层面的而非机制层面的：概念消融测试的是输出的反事实敏感性，而非内部回路。
| 评论： | 被 ICETCI 2026 会议接收并获得最佳论文奖，此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.32817 [cs.AI] |
| （或 arXiv:2609.32817v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.32817 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Vishnu Surya Reddy Nandi [查看电子邮件]
[v1]
2026年9月26日星期六 17:44:22 UTC（619 KB）
[v2]
2026年10月10日星期六 19:26:58 UTC（619 KB）
来源：arXiv cs.AI · arxiv.org