Med Evidence Bench（MEB）：大语言模型临床推理的可溯源评测基准
An evidence-traceable benchmark of clinical reasoning in large language models
研究团队构建了 Med Evidence Bench（MEB），包含 1,536 道由医生编写的题目，覆盖指南知识、标准化临床场景和真实实验室场景三个层级，每条评分标准都链接到带版本号的原文片段。
作者：Zhiqun Zhao (1)、Xiaodong Yang (2)、Bruce Gu (3 和 4)、Ming Li (5)、Yi Fu (6)、Song Li (7)、Qi Mei (8)、Zhi Liu (9)、Kai Zhang (10)、Kexue Fu (3 和 4)、Jing Wu (11)、Xiaofei Lu (12)、Yule Li (1)、Zheng Wang (2)、Haiquan Lu (1)、Xiaoming Wu (3 和 4)（(1) 山东大学齐鲁医学院高等医学研究院及教育部实验畸形学重点实验室，中国济南；(2) 山东第一医科大学附属省立医院泌尿外科，中国济南；(3) 山东省计算中心，国家超级计算济南中心，中国济南；(4) 齐鲁工业大学（山东省科学院），中国济南；(5) 山东第一医科大学附属省立医院风湿免疫科，中国济南；(6) 山东第一医科大学附属省立医院信息网络管理办公室，中国济南；(7) 山东大学齐鲁医院肿瘤内科，中国济南；(8) 华中科技大学同济医学院附属同济医院肿瘤科，中国武汉；(9) 山东第一医科大学附属省立医院检验科，中国济南；(10) 山东大学齐鲁医院乳腺外科、普外科，中国济南；(11) 山东大学附属公共卫生临床中心中心实验室，山东大学，中国济南；(12) 山东第一医科大学第一附属医院乳腺外科，中国济南）
摘要：当评分标准无法追溯至临床证据时，医学大语言模型（LLM）的基准分数难以解读。在此，我们开发了 Med Evidence Bench（MEB；this https URL），包含 1,536 个由医师构建的条目，分为三个层级：指南知识、标准化临床场景和真实世界实验室场景。每条陈述医学主张的标准均关联到一个带版本号的源文本片段。在十个 LLM 中，指南知识的证据追溯分数（ETS）为 0.975-0.997，标准化场景为 0.292-0.658，真实世界场景为 0.182-0.447，且排名在不同层级间有所变化。对于真实世界场景，识别临床信息的分数（均值 0.770）高于匹配证据（0.165）或制定建议（0.160）。在 1,296 个标准级判断中，自动评分与三名医师的多数投票一致（宏 F1，0.930；95% 置信区间，0.915-0.945），尽管在证据应用方面一致性较低。这些来自中文材料的研究结果表明，指南回忆并不能确保患者特异性的证据使用，且不能确立临床有效性。
| 评论： | 25 页，8 幅图，4 张表。Zhiqun Zhao、Xiaodong Yang 和 Bruce Gu 贡献相同。通讯作者：Zheng Wang、Haiquan Lu 和 Xiaoming Wu |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13562 [cs.CL] |
| （或 arXiv:2611.13562v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13562 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhiqun Zhao [查看电子邮件]
[v1]
2026年11月10日 星期二 04:28:57 UTC（6,415 KB）
来源：arXiv cs.CL · arxiv.org