arXiv cs.AI· Griffin Farrow, Lily Sijia Li, Jack Johnson, Tingyan Wang, Philip Torr, William Bolton, Fabio J. Fehr·· 2 天前AI 评分52
研究揭示医学 AI 评分细则漏检幻觉的盲区
When Rubrics Fail: Hallucinations Reveal Blind Spots in Medical AI Evaluation
AI 导读
研究团队发现，基于评分细则（rubric）的医学 LLM 评测会漏掉临床相关的幻觉，在 HealthBench、HealthBench Professional 和 LiveMedBench 上，注入错误后的回答评分常常保持不变。
正文 · AI 翻译
摘要：幻觉会削弱临床医生对 LLM 的信任，因此评估方法必须能够捕捉具有临床相关性的错误，这一点很重要。基于评分标准的评估已成为医学领域评估 LLM 的主流方法，但评分标准得分是否反映此类错误尚不清楚。我们首先使用 MedHallu 在受控环境中研究这一问题，发现更具体的评分标准能更好地区分正确回答与幻觉回答。为了系统地检验这一点，我们开发了医学幻觉类型分类法，以及一个经临床医生验证的错误注入流程，用于生成匹配的正确回答和注入错误的回答。在 HealthBench、HealthBench Professional 和 LiveMedBench 上，我们的临床相关幻觉被评分标准漏掉，通常导致得分保持不变。我们发现，当评分标准明确核查事实时最为有效，而对于其未预料到的额外或意外错误则效果较差。一项初步的基于检索的事实性检查找回了部分评分标准盲区中的错误，表明这是一种互补方法。这些发现揭示了当前 LLM 医学评估中的系统性盲点，并表明仅靠评分标准得分不足以确立临床可靠性，这可能削弱临床医生对临床部署的信任和信心。
| 评论： | 发表于 NeurIPS 2026 GenAI4Health Workshop |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.12718 [cs.AI] |
| （或 arXiv:2609.12718v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.12718 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Fabio James Fehr [查看邮箱]
[v1]
2026年9月11日星期五 11:15:46 UTC（3,342 KB）
[v2]
2026年10月27日星期二 12:04:15 UTC（3,225 KB）
来源：arXiv cs.AI · arxiv.org