arXiv cs.AI· Federico Ravenda, Mirko Cesarini, Daniele Montagnani, Volodymyr Karpenko, Antonietta Mira, Andrea Raballo·· 10 小时前AI 评分42
Hx2Dx ARENA：评估 LLM 对话式临床推理的多模态基准
Hx2Dx: From Anamnesis to Diagnosis - A Multimodal Arena for Conversational Clinical Reasoning in LLMs
AI 导读
研究者推出 Hx2Dx ARENA，一个基于 NEJM 1000 个临床病例的交互式基准，模拟从问诊（Hx）、体格检查到诊断（Dx）的完整流程。在交互设置下，所有开源与闭源 LLM 的诊断准确率均低于直接给出完整病例的静态设置，模型间表现差异明显。能否提出有针对性的问题、构建完整临床图景，是造成模型差距与准确率损失的主要原因。
正文 · AI 翻译
摘要：大型语言模型（LLM）在静态评估中达到了专家级的诊断准确率，在这种评估中，模型收到的是经过整理的病例摘要或病例报告，其中已经浓缩了与诊断相关的发现。此类评估衡量的是对已经选定的证据进行推理；这些评估并未考虑用于获取这些证据的询问过程。然而在临床实践中，诊断是一个迭代的询问过程。临床医生通过有针对性的提问采集患者病史，即病史采集（Hx），对患者进行体格检查，并申请和解读检查，逐步缩小鉴别诊断范围，直至得出最终诊断（Dx）。我们推出了 Hx2Dx ARENA，这是一个包含来自《新英格兰医学杂志》（NEJM）的 1'000 个临床病例的交互式基准。每个病例都是一次模拟诊疗，从初始就诊开始，经过病史采集和体格检查，直至诊断性检查。我们在多种配置下评估了开源和闭源 LLM。在交互式设置中，不同模型的表现差异相当大，而且与直接呈现完整病例的静态设置相比，每个模型的诊断准确率都有所下降。提出正确问题的能力在很大程度上既解释了模型之间的差距，也解释了准确率的下降：随着问题变得更有针对性并构建出更完整的临床图景，诊断会有所改善。因此，LLM 在相关数据可用时推理良好，但在假设驱动的信息收集方面仍然有限，即不知道为了知道该问什么。弥合这一差距是将其安全整合到真实世界诊断工作流程中的先决条件。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.14122 [cs.AI] |
| （或 arXiv:2611.14122v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14122 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Federico Ravenda [查看电子邮件]
[v1]
2026年11月10日星期二 14:09:33 UTC（2,717 KB）
来源：arXiv cs.AI · arxiv.org