arXiv cs.CL· Heyuan Huang, Jirui Dai, Alexandra DeLucia, Sonal Joshi, Mahsa Yarmohammadi, Jie Gao, Bernal Jim\'enez Guti\'errez, Mark Dredze·· 11 小时前AI 评分35
基于检索的开放式评估在哪里失效？从长篇医学答案事实性验证自动归纳失败分类体系
Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification
AI 导读
研究针对基于检索的医学事实性评估，从MedExpert开放式数据集与3个封闭式数据集归纳出两套失败分类体系：检索阶段按五个质量维度分解错误，验证器推理错误拆为六个连续步骤。团队用LLM-as-Judge自动标注证据质量并在4种检索方法与6个前沿验证模型上压力测试，发现扩大模型规模、增加推理投入、引入权威网络来源与医学微调均无法消除这些失败模式。
正文 · AI 翻译
摘要：基于检索的事实性评估，即依据权威医学语料库中的证据来验证 LLM 生成的论断，已成为高风险临床环境中可扩展幻觉检测的主导范式。尽管对可靠且透明的医学事实核查需求迫切，但大多数系统仍以 F1 等聚合指标衡量性能，这些指标掩盖了失败发生的位置和原因。现有的 RAG 诊断需要金标准答案或标注的金标准证据，而在此场景中两者均不存在。我们引入了两个全面的分类体系，基于对开放式 MedExpert 数据集和 3 个封闭式数据集的案例研究，将失败分解为沿五个质量维度的检索阶段错误，以及将验证器推理错误分解为六个连续步骤。我们采用 LLM-as-Judge 的自动模式归纳流程，以大规模标注证据质量并对验证器推理错误进行分类，随后在 4 种检索方法和 6 个前沿验证器模型上对我们的发现进行压力测试。我们的分析表明，扩大模型规模、增加推理投入、扩展至权威网络来源以及应用医学微调均无法解决这些失败模式，这表明它们代表的是开放式医学场景中“先检索后验证”范式的根本性局限，而非过时系统的产物。我们在 此 https URL 发布了代码和数据，以确保我们结果的完全可复现性。
| 评论： | 所有实验均在 2026 年 5 月之前完成（也是所有语料库的知识截止日期）。被 NeurIPS 2026 Generative AI for Health 接收为 Oral 论文（最佳论文入围）。 |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2609.30467 [cs.CL] |
| （或 arXiv:2609.30467v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.30467 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Heyuan Huang [查看邮箱]
[v1]
2026 年 9 月 24 日星期四 19:04:23 UTC（349 KB）
[v2]
2026 年 11 月 5 日星期四 17:22:33 UTC（2,699 KB）
来源：arXiv cs.CL · arxiv.org