arXiv cs.CL· Zhangshu Joshua Jiang, Zina Ibrahim, James T. Teo·· 12 小时前AI 评分31
评估大语言模型临床推理能力的评分标准全景：现有工具、缺失维度与整合方向
A rubric landscape for evaluating clinical reasoning in large language models: what exists, what is missing, and what needs to be combined
AI 导读
一篇结构化叙述性综述梳理了医学教育评估工具、2023 年以来的临床 LLM benchmark 与通用长文本生成评估方法，围绕问题表征、时间综合、鉴别与管理推理、反事实推理、校准不确定性、推理忠实性六个维度展开。
正文 · AI 翻译
摘要：考试式准确率并不能确定大型语言模型（LLM）能否对临床记录进行良好推理。我们将临床推理定义为：跨时间和来源整合并更新证据，以形成、修正和论证患者的问题表征以及可辩护的方案。
本结构化叙述性综述梳理了三类文献：医学教育评估工具、2023 年以来发表的临床 LLM 基准，以及评估长文本生成的通用领域方法。我们考察六个维度：问题表征、时间综合、鉴别与管理推理、反事实推理、校准不确定性以及推理忠实性。预印本已纳入并予以标注。
没有任何单一工具覆盖全部六个维度。问题表征与鉴别或管理推理得到了较好的覆盖，但可靠性因工具和情境而异。TIMER-Eval 针对时间综合，ER-Reason 评估序贯诊断信念更新。专门的不确定性和反事实评估正在出现，但其对纵向自由文本推理的适用性仍然有限。事实完整性在通用领域评估中已有充分理论，临床方面也有早期证据表明存在重要遗漏。忠实性仍是最薄弱的维度，仅识别出一项针对多项选择题的临床因果消融研究。
现有工具应通过二元评分项、分开的完整性与正确性得分、病例特定的重要性加权与不可补偿的安全上限、时间顺序一致性检查以及机会校正的可靠性报告加以组合。对于纵向自由文本记录上的校准不确定性、反事实推理和忠实性，仍需进一步的设计工作。本综述提供设计依据，而非经过验证的工具。
| 评论： | 13 页，1 张表。结构化叙述性综述 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.01938 [cs.CL] |
| （或 arXiv:2610.01938v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.01938 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhangshu Joshua Jiang [查看电子邮件]
[v1]
2026 年 10 月 1 日星期四 16:07:12 UTC（26 KB）
[v2]
2026 年 10 月 21 日星期三 14:09:12 UTC（26 KB）
来源：arXiv cs.CL · arxiv.org