arXiv cs.CL· Feras AlMannaa, Talia Tseriotou, Jenny Chim, Maria Liakata·· 2 天前AI 评分38
研究 LLM 在临床问答中的长上下文理解能力
Investigating LLM Capabilities on Long Context Comprehension for Clinical Question Answering
AI 导读
一项覆盖多数据集、多模型与多指标的研究系统考察了 LLM 对纵向患者电子健康记录(EHR)的长上下文理解能力,涵盖抽取式、多项选择与开放式生成问答,并对比不同上下文构造与 RAG 设置。
正文 · AI 翻译
摘要:尽管大型语言模型(LLM)在医学问答(QA)上报告了令人印象深刻的性能,但评估仍过度依赖主要考察教科书知识的多项选择和抽取式设置,针对患者记录开放式问答的研究有限。我们提出了一项综合研究,考察 LLM 在纵向、以患者为中心的电子健康记录(EHR)上的长上下文(LC)理解,涵盖多个数据集、模型和指标,覆盖不同上下文构建方式和检索增强生成(RAG)设置下的抽取式、多项选择和开放式生成式问答。我们表明,经医学微调的模型相比基座模型没有可测量的收益,较小的模型表现出更强的记忆能力,纵向补充记录有助于生成式问答。推理模型在 LLM Correctness 下于复杂的多记录问答上有所提升,但在更严格的参考对齐指标上并未提升,而带重排序的混合 RAG 优于全上下文(FC)提示。问题类别分析和多维度指标评估进一步揭示了 RAG 和 FC 各自的优势与不足,其中 RAG 在纵向推理上落后,从而暴露出系统性失败,指向对适配推理的指标的需求。
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2510.18691 [cs.CL] |
| (或 arXiv:2510.18691v3 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2510.18691 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Feras AlMannaa [查看邮箱]
[v1]
2025年10月21日 星期二 14:50:24 UTC(2,482 KB)
[v2]
2026年1月14日 星期三 21:40:27 UTC(2,585 KB)
[v3]
2026年11月12日 星期四 22:58:31 UTC(2,747 KB)
来源:arXiv cs.CL · arxiv.org