临床医生使用语言模型的方式与模型评测方式存在分歧
Clinician use of language models diverges from how the models are evaluated
一项分析 6,342 名临床医护人员在八个月内向机构助手发送的 127,833 条查询发现，文档与行政类占 36.2%、知识检索占 28.9%，诊断仅占 3.7%，超三分之一查询按原样无法得到良好回答。研究者用 RCQ-Map 框架比对 58 个公开基准（Clinical AI Benchmark Atlas），中位基准不含任何文档请求，任务构成与真实使用仅重合 31%。
作者：Krithik Vishwanath、Haitong Lin、Anton Alyakin、Jin Vivian Lee、D. Brock Hewitt、Jie J. Yao、William Robert Small、Hammad A. Khan、Cordelia Orillac、Aakaash Varma、Brandon Ye、Daniel Alexander Alber、Gustavo Stolovitzky、Batia Wiesenfeld、Oded Nov、Wei Wu、Kang Zhang、Yindalon Aphinyanaphongs、Tim Requarth、Eric Karl Oermann、International Digital Twin Consortium in Healthcare、Medicine
摘要：大型语言模型（LLM）助手正被部署给各医疗系统的临床医生，而对其是否就绪的判断主要依赖于基准分数，其中大多数分数来自考试题或精选病例。基准只有在题目与实际使用相似时，才能预测部署中的表现，然而基准是否反映了这些系统实际接收的工作，却很少被衡量。在此，我们分析了在为期八个月的推广期间，来自 35 个专科的 6,342 名医生、高级执业提供者和护士向一个机构助手发送的 127,833 条查询。我们用 RCQ-Map 对每条查询进行刻画，这是一个经临床医生验证的框架，基于临床问题分类法和 LLM 评估分类法，记录其任务、意图、可回答性、缺失信息和潜在危害。文档与行政事务（36.2%）和知识检索（28.9%）占了近三分之二的使用量，而诊断仅占 3.7%；超过三分之一的查询按原样无法得到良好回答。将 RCQ-Map 应用于 58 个公开基准（取自主要评估套件和前沿模型报告，我们将其汇编为 Clinical AI Benchmark Atlas）后显示，基准的中位数不包含任何文档请求，且与真实使用共享 31% 的任务构成，低于任务类别均匀分布时的水平。旨在模拟临床实践的套件中的基准，其与真实使用的接近程度并不比前沿模型报告中使用的基准更高。因此，基准分数几乎无法说明临床 AI 在其实际被赋予的大部分工作上的表现，评估应与真实临床使用相匹配。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11069 [cs.CL] |
| （或 arXiv:2610.11069v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11069 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Krithik Vishwanath 先生 [查看电子邮件]
[v1]
2026年10月8日星期四 01:29:04 UTC（890 KB）
来源：arXiv cs.CL · arxiv.org