arXiv cs.AI· Xueting Fang, Zehui Li, Yang Yang, Camilla Giovino, Shubh K. Patel, Shailly Prajapati, Vallijah Subasri, Caihua Shan·· 10 天前AI 评分42
KlinikeBench：评估语言模型在临床问诊中的综合表现
KlinikeBench: Evaluating Language Models Beyond Diagnostic Accuracy
AI 导读
研究团队推出 KlinikeBench，一个包含 333 个临床医生编写任务的基准，每个任务提供虚拟患者、临床工具和任务专属成功标准，超过 35 位临床医生参与编写与评估。在 31 个模型、7 个模型家族中，表现最好的模型（如 GPT-6-astra 和 Claude Opus 5）任务成功率不足 30%，尽管其诊断准确率达到 90.7%。该基准揭示了诊断准确率与交互式临床评估能力之间的显著差距。
正文 · AI 翻译
摘要：大多数临床基准使用完整的病例描述来评估语言模型（LM）的诊断能力。然而，在临床实践中，患者以不同方式提供信息，临床医生必须获取相关病史并确定在做出诊断前需要进行哪些检查。因此，仅凭诊断准确性无法确定一个智能体是否收集了必要信息或进行了适当的临床评估。此外，现有基准缺乏专业临床医生的验证。为弥补这一空白，我们推出了 KlinikeBench，这是一个包含 333 个由临床医生编写的任务的基准，每个任务都提供一个独立的沙盒环境，其中包含虚拟患者、临床工具和任务特定的成功标准。超过 35 位临床医生参与了病例编写和基准评估。在一项实证研究中，临床医生对模拟对话给出的平均质量评分高于参考对话，而参考对话改编自真实对话。在每个任务中，语言模型有固定的轮次预算来与患者沟通、询问相关病史、请求检查、遵守操作约束并记录最终诊断。我们分别对这些步骤以及整体进行评分。在 31 个模型和 7 个模型系列中，表现最好的模型（例如 GPT-6-astra 和 Claude Opus 5）在不到 30% 的任务上取得成功，尽管它们的诊断准确率达到 90.7%。一些模型从与患者交谈中受益；另一些模型能够根据完整病历做出良好诊断，但在对话中表现差得多。总体而言，KlinikeBench 提供了一个用于评估完整临床就诊过程的测试平台，并揭示了诊断准确性与交互式临床评估表现之间的巨大差距。所有代码和数据均可在 此 https URL 获取
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.38480 [cs.CL] |
| （或 arXiv:2609.38480v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.38480 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zehui Li [查看电子邮件]
[v1]
2026年9月29日星期二 20:08:21 UTC（1,257 KB）
[v2]
2026年10月6日星期二 07:01:43 UTC（1,257 KB）
来源：arXiv cs.AI · arxiv.org