跳到正文
arXiv cs.CY· Ruio Heerschap, Henry Foote, Mahmoud Alwakeel, Zhouhan Qian, Jiaqi Wang, Elisabeth Bond, Yang Yang, Jonathan Chong Kai Liew, Matthew A. Bergens, Monique Arnold, Haoyuan Wang, Rui Yang, Kunyu Yu, Nikita R. Paripati, Diana Pimenta, Kyle Naimoli, An-Kwok Ian Wong, Nicoleta Economou-Zavlanos, Jo\~ao Ricardo Vissoci, Nan Liu, Anand Chowdhury, Chuan Hong·· 9 小时前AI 评分31

SAFE-Triage:面向患者的分诊 AI 工具多维评估框架

Beyond Acuity Accuracy: A Multidimensional Framework for Evaluating Patient-Facing Emergency Triage AI Tools

AI 导读

研究团队提出 SAFE-Triage 框架,整合人工审核、自动化指标、LLM-as-judge 评估与模拟测试,从临床性能、患者交互和面向临床医生的摘要质量三个维度评估面向患者的分诊 AI 工具。

正文 · AI 翻译

作者:Ruio Heerschap、Henry Foote、Mahmoud Alwakeel、Zhouhan Qian、Jiaqi Wang、Elisabeth Bond、Yang Yang、Jonathan Chong Kai Liew、Matthew A. Bergens、Monique Arnold、Haoyuan Wang、Rui Yang、Kunyu Yu、Nikita R. Paripati、Diana Pimenta、Kyle Naimoli、An-Kwok Ian Wong、Nicoleta Economou-Zavlanos、João Ricardo Vissoci、Nan Liu、Anand Chowdhury、Chuan Hong

查看 PDF

摘要:面向患者的 AI 分诊工具可能有助于患者就医和急诊科优先级排序,但需要超越仅评估病情严重程度准确性的评价。我们开发了 SAFE-Triage,这是一个整合人工审核、自动化指标、LLM-as-judge 评估和模拟测试的框架,覆盖临床性能、患者交互和面向临床医生的摘要质量。我们将 SAFE-Triage 应用于 40 个源自 MIMIC-IV 的急诊案例,以及一项包含 10,030 个病例的严重程度分析,比较提示式 LLM 分诊(PLT)与规则增强的提示式 LLM 分诊(rPLT)。PLT 实现了更高的急诊严重程度指数(ESI)准确率(57.5% 对 42.8%,$P < 0.001$)、更低的分诊不足率(13.1% 对 29.8%,$P < 0.001$),并在所有维度上获得更高的临床医生评分。rPLT 生成的输出更短、更稳定,自动化可读性评分更高。SAFE-Triage 识别了严重程度准确性、分诊不足风险、沟通质量、可读性和摘要质量之间的权衡,通过展示分诊工具在哪些方面高效、需要改进或需要临床医生监督,支持部署前优化和持续监测。
评论: 82 页,包括 34 页补充材料。5 张图(4 张主图和 1 张补充图)
主题: 计算与语言(cs.CL);计算机与社会(cs.CY)
引用为: arXiv:2611.22045 [cs.CL]
  (或 arXiv:2611.22045v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22045

arXiv 颁发的 DOI 通过 DataCite(待注册)

提交历史

来自:Zhouhan Qian [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 01:11:07 UTC(2,290 KB)

来源:arXiv cs.CY · arxiv.org