跳到正文
arXiv cs.AI· Yufan Wang, Rui Yang, Yi Lin, Chunhua Weng, Yifan Peng·· 4 小时前AI 评分32

DiagTrace:评估 LLM 临床诊断决策的交互式基准

DiagTrace: An Interactive Benchmark for Clinical Decision Making

AI 导读

DiagTrace 是一个基于 PubMed Central 病例报告构建的交互式基准,用于评估 LLM 能否通过逐步信息检索重建真实诊断轨迹。基准含 8 个专科的 510 个病例,其中 225 个用于评测 4 个 LLM 在临床病程对齐、交互质量与效率上的表现,结果显示模型在信息覆盖、来源一致排序与对话轮次使用上存在权衡。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)在医学问答和诊断推理基准上表现出强劲性能。然而,现有评估通常一次性提供所有患者信息,并且只评估最终诊断或推理依据。这种设置忽略了在真实诊断中需要从不完整信息中逐步获取诊断证据的需求。为弥合这一差距,我们推出 DiagTrace,一个基于来源的基准,用于评估 LLM 能否通过交互式信息检索重建有记录的诊断轨迹。每个基准实例均基于一篇 PubMed Central 病例报告构建,包含初始表现、事件库、临床病程和诊断参考。DiagTrace 包含八个专科的 510 个病例,其中 225 个用于评估四个 LLM 在临床病程对齐、交互质量和效率方面的表现。结果揭示了在覆盖率、来源一致排序和轮次使用方面的权衡。
评论: 已被 EACL 2027 Findings 接收
主题: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2611.22009 [cs.CL]
  (或 arXiv:2611.22009v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22009

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yufan Wang [查看电子邮件]
[v1] 2026年11月16日星期一 23:42:28 UTC(166 KB)

来源:arXiv cs.AI · arxiv.org