arXiv cs.AI· Chaitali Deb Purkayastha, Bharath Kumar Bolla, Vishnu Surya Reddy Nandi·· 3 天前AI 评分29
临床 LLM 评估不止准确率：反事实脆弱性与人口统计学偏差研究
Beyond Accuracy: Counterfactual Fragility and Demographic Bias in Clinical Evaluation of LLMs
AI 导读
研究用两项自动化扰动测试评估六个 LLM 在 150 道 MedQA USMLE 题上的表现：900 次反事实有效性（CFV）尝试中仅 228 次（25.3%）有效，5,400 次人口统计学对比中 1,097 个答案被改变（20.3%），并识别出 3,128 个刻板印象证据标记。
正文 · AI 翻译
摘要：临床 LLM 评估往往强调答案准确性；然而，仅凭准确性无法检验反事实一致性或人口统计学稳健性。我们使用两项自动化扰动测试，在 150 道 MedQA USMLE 题目上评估了六个 LLM 的表现。反事实有效性（CFV）测试要求每个模型做出一个最小、合理的临床改动，使另一个答案成为正确答案。人口统计学稳健性测试则在同一病例描述上添加六种人口统计学前缀，并将答案和解释与无人口统计学基线进行比较。在 900 次 CFV 尝试中，228 次（25.3%）有效，672 次无效。在 5,400 次人口统计学比较中，有 1,097 个答案被更改（20.3%）。自动化判定识别出 3,128 个刻板印象证据标记，其中 1,932 个属于宽泛的“其他”类别。MedGemma 27B 取得了最高准确率（87.1%）和 CFV（63.3%）、最低答案更改率（16.0%）以及较低的平均解释人口统计学失调（EDD）分数（0.169）。然而，其准确率仍高于其 CFV，表明正确答案并不能保证在反事实有效性任务上表现可靠。OpenBioLLM 的答案更改率和 EDD 最高，而 GLM 的刻板印象标记率最高。这些发现表明，准确率、CFV、答案稳定性、EDD 和刻板印象证据捕捉的是不同的评估方面。由于所有判定均为自动化，且没有临床医生验证，这些结果支持安全性筛查，但并不能确立该模型的临床可部署性。
| 评论： | 已被 AIKP 2026 会议接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.32807 [cs.AI] |
| （或 arXiv:2609.32807v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.32807 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Vishnu Surya Reddy Nandi [查看电子邮件]
[v1]
2026 年 9 月 26 日星期六 17:28:46 UTC（679 KB）
[v2]
2026 年 10 月 10 日星期六 19:28:45 UTC（679 KB）
来源：arXiv cs.AI · arxiv.org