跳到正文
arXiv cs.AI· Guanqiao Chen, Wei Jiang, Shu Zhang, Qian Lin, Guanxu Yu, Siran Li, Chunhui Wang, Tianyu Shi·· 23 小时前AI 评分52

研究提出临床 AI 决策轨迹审计方法,发现正确诊断不等于安全路径

Right Diagnosis, Unsafe Route: Auditing Clinical AI Decision Trajectories and Corrective Oversight for Validity and Potential Harm

AI 导读

一项研究提出轨迹审计与监督审计方法,逐检查点回放真实病例,评估临床 AI 每一步决策对患者的潜在危害与临床有效性。在 300 个来自医院心内科队列、MIMIC-IV 和 ASCENT 基准的病例中,55.2% 最终诊断可接受的医院轨迹经过中度或重度潜在危害决策,MIMIC-IV 上该比例为 76.2%,ASCENT 为 39.6%。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:一个临床 AI 系统可能通过本可伤害患者的中间决策得出正确的最终诊断,也可能在修复一个错误的同时引入新的风险。大多数评估只对最终诊断打分;即便是按时间逐步释放病例证据的分步基准,也只评估系统是否得出正确诊断或收集到正确信息,而不评估患者所经历的决策是否安全。我们将患者安全作为分步评估的目标。轨迹审计会逐个检查点回放真实入院过程,让每个系统仅依据截至目前已释放的证据做出决策,并针对记录的最终诊断和医生编写的疾病评分标准,在做出决策时可获得的证据基础上,对每项检查、治疗和处置给患者带来的潜在伤害以及临床有效性分别进行评分。由 LLM 评判员对每个决策打分,并以医生参考标准(对分层样本进行三重标注和资深裁决)校准各项比率。监督审计会在每条轨迹的首个可操作错误处分叉,并在相同的分叉上衡量纠正性反馈是否能修复该错误,以及是否会引入新的伤害。在来自某医院心脏病队列、MIMIC-IV 和公开 ASCENT 基准的 300 个病例中(每个来源最多七个 AI 系统),达到可接受最终诊断的医院轨迹中有 55.2% 经过了具有中度或重度潜在伤害的决策,24.8% 经过了临床不可接受的决策;MIMIC-IV 上的伤害率为 76.2%,ASCENT 上为 39.6%。结构化纠正解决了 73.6% 的首个错误,而仅作拒绝后为 24.8%;但纠正后有 30.2% 出现新的潜在不安全决策,而拒绝后为 19.7%。正确的最终诊断并不能证明轨迹安全,成功的纠正也不能证明恢复过程安全。
学科: 人工智能(cs.AI)
引用为: arXiv:2611.22612 [cs.AI]
  (或本版本的 arXiv:2611.22612v1 [cs.AI])
  https://doi.org/10.48550/arXiv.2611.22612

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Guanqiao Chen [查看邮箱]
[v1] 2026年11月17日星期二 11:26:37 UTC(88 KB)

来源:arXiv cs.AI · arxiv.org