arXiv cs.CL· Zhichao Yang, Gregory D. Lyng, Sanjit Singh Batra, Robert E. Tillman·· 12 小时前AI 评分31
MedicalBench：评估大语言模型改进医疗概念抽取的新基准
MedicalBench: Evaluating Large Language Models Toward Improved Medical Concept Extraction
AI 导读
MedicalBench 是首个针对隐式、带证据锚定医疗概念抽取的系统性基准，基于 MIMIC-IV 出院小结与人工核验的 ICD-10 编码构建，包含隐式正例、语义易混负例及 LLM 判断与专家评估不一致的案例。
正文 · AI 翻译
摘要：从电子健康记录中提取医学概念是许多下游应用的基础，但由于医学上有意义的概念在医学叙述中常常是隐含的而非明确陈述的，这一任务仍然具有挑战性。现有带有人工标注证据片段的基准强调了将提取的概念建立在医学文本中的重要性。然而，它们主要关注明确陈述的概念，而非隐含概念。我们提出 MedicalBench，一个用于医学概念提取并带有证据定位的基准，用于评估隐含医学推理。MedicalBench 将医学概念提取形式化为对医疗记录-概念对的验证任务，并结合句子级证据识别。该数据集基于 MIMIC-IV 出院小结和经人工核验的 ICD-10 编码构建，通过多阶段大语言模型（LLM）分诊流程，随后进行医学标注和专家审核来整理。它有意包含隐含正例、语义上易混淆的负例，以及 LLM 判断与医学专家评估不一致的案例。我们定义了两个互补的评估任务：（1）医学概念提取和（2）句子级证据检索，从而能够评估正确性和可解释性。对最先进 LLM 的基准测试表明，性能仍然有限，凸显了提取隐含表达概念的难度。我们进一步表明，性能在很大程度上与记录长度无关，这表明 MedicalBench 分离出的是推理难度，而非表面混杂因素。MedicalBench 提供了首个针对隐含、证据定位的医学概念提取的系统性基准，为开发既能识别医学相关概念、又能以透明且医学上忠实的方式为其预测提供依据的医学语言模型奠定了基础。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.20197 [cs.CL] |
| （或 arXiv:2605.20197v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.20197 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sanjit Singh Batra [查看电子邮件]
[v1]
2026年4月5日星期日 14:11:00 UTC（716 KB）
[v2]
2026年10月21日星期三 01:06:06 UTC（923 KB）
来源：arXiv cs.CL · arxiv.org