arXiv cs.AI· Zihao Zheng (Washington University in St. Louis), Junyi Yao (Washington University in St. Louis), Baichuan Li (Southern Methodist University), Jiayu Long (Washington University in St. Louis)·· 2 天前AI 评分25
医疗 LLM 智能体升级可靠性审计：工作流状态失败的扰动控制基准
Auditing Escalation Reliability in Healthcare LLM Agents: A Perturbation-Controlled Benchmark of Workflow-State Failures
AI 导读
研究构建了 400 个合成医疗工作流 episode 的评估协议，在 5:1 漏报与不必要升级成本下考察 ANSWER/ASK CLARIFICATION/ABSTAIN/ESCALATE 决策。
正文 · AI 翻译
作者：Zihao Zheng（圣路易斯华盛顿大学），Junyi Yao（圣路易斯华盛顿大学），Baichuan Li（南卫理公会大学），Jiayu Long（圣路易斯华盛顿大学）
摘要：可信的生物医学 AI 要求在证据缺失、过时、冲突或延迟时能够可靠地选择行动，而不仅仅是在静态输入上给出准确答案。我们将一种回合级评估协议实例化为 400 个合成医疗工作流回合：涵盖四个任务类别的 40 个手工编写的语义种子、两种表层参数化以及五种受控变体，在预先声明的 5:1 漏报与不必要升级成本比下，按 ANSWER/ASK CLARIFICATION/ABSTAIN/ESCALATE 进行评分。参考行动是单一作者的研究策略标签，而非经临床医生裁定的真实基准。在五种开放权重配置（1.7B--9.7B）中，干净决策准确率达到 0.97，但经不确定性提示的模型漏掉了 32--97% 的必要升级。更强的 9.7B 配置缩小了但并未消除这一差距，在冲突下从 0.97 的干净准确率降至 0.78。言语化置信度不一致（ECE 0.10--0.54；失败 AUROC 0.48--0.77），而一个经开发调优的仅置信度策略没有带来任何效用增益。一个透明的、感知工作流的控制器为每个模型提升了 5:1 效用，并将漏报升级降至 0.12--0.24，特异度为 0.83--0.93。然而，一项 30 个概念的词汇压力测试将每个规则检测器的召回率从触发短语上的 1.00 降至未见释义上的 0.00，从而将控制器的结论限定于该基准。种子聚类统计、消融实验、跨任务迁移、原始输出和清单均已打包以供审计。这些结果支持显式工作流状态评估，同时表明看似有效的路由控制需要自身的泛化测试。
| Comments: | 7 页，5 幅图 |
| Subjects: | 人工智能（cs.AI）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.21270 [cs.AI] |
| （或 arXiv:2610.21270v1 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2610.21270 arXiv 颁发的 DOI 经由 DataCite（待注册） |
Submission history
来自：Zihao Zheng [查看邮箱]
[v1]
2026年10月15日星期四 05:04:10 UTC（916 KB）
来源：arXiv cs.AI · arxiv.org