arXiv cs.AI· Amama Mahmood, Shiye Cao, Laura Fleig, Junan Jiang, Theodore Jensen, Yee-Yin Choong, Kristen Greene, Chien-Ming Huang·· 10 小时前AI 评分31
医疗场景 AI 记录助手评估碎片化：54 项研究拆出 96 种度量方式
Ninety-Six Ways to Measure a Scribe: Fragmented Evaluation of Ambient Scribes in Healthcare
AI 导读
一项针对医疗场景 ambient AI scribes 的综述发现，54 项近期评估研究共涉及 10 个评估维度和 40 项指标，却被拆成 96 种不同度量方式，其中 35 种（36%）仅被单一研究使用。
正文 · AI 翻译
摘要：环境人工智能（AI）记录员已迅速从实验性试点走向在各类医疗系统中的企业级部署，有望减轻文书负担并改善临床医生体验。尽管评估这些工具的研究迅速增多，但目前尚无公认的协议或标准化指标来评估其性能，这使得难以比较各项研究结果或对研究证据进行累积性综合。在近期 54 项评估研究中，我们识别出十个评估维度和 40 项不同指标，这些指标以 96 种不同方式操作化——其中 35 项（36%）仅被一项研究使用。评估以文书效率和时间为主，在 54 项研究中有 44 项测量了这些方面。其他维度的出现率大致相似（每项 16-24 项研究），而安全性和临床结局的一致性最低。对更广泛照护系统的连锁影响，例如对患者照护结局的影响、工作重新分配、计费与编码强度的变化，以及其他临床医生对病历记录的下游使用，很少被评估。此外，所用指标严重依赖自我报告，且碎片化、操作化不一致，这限制了可比性并阻碍了跨研究的综合。为支持更严谨和累积性的评估，本文回顾了常用于评估医疗环境中环境 AI 记录员的研究设计、数据来源和指标，讨论了当前评估实践的局限性，并主张采用基于标准化、多维度指标集的更整体性方法。
| 主题： | 人机交互（cs.HC）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.14284 [cs.HC] |
| （或 arXiv:2611.14284v1 [cs.HC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14284 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Amama Mahmood [查看电子邮件]
[v1]
2026年11月10日星期二 16:26:02 UTC（1,535 KB）
来源：arXiv cs.AI · arxiv.org