arXiv cs.CL· Meilu Zhu, Xiaohan Li, Axiu Mao·· 9 小时前AI 评分36
HindAudit 审计临床智能体基准:后见之明从何进入模拟器与病例构建
Where Does Hindsight Enter Clinical Agent Benchmarks? An Audit of Simulators and Case Construction
AI 导读
HindAudit 将临床诊断智能体基准中的后见之明拆为三个渠道,在 MIMIC-IV 的 27,489 例急诊入院数据上审计发现,模拟化验结果未出现泄漏,给五个模拟器提供诊断的影响可忽略。
正文 · AI 翻译
摘要:面向 LLM 诊断智能体的基准测试由回顾性记录构建:智能体读取的病例由出院小结改写而来,未记录的检验结果则由一个往往能看到最终诊断的模拟器生成。HindAudit 区分了三条后见之明通道(提供给模拟器的诊断、其作为条件的回顾性上下文,以及面向智能体的病例文本),并用仅在真实数据上训练的评判器分别度量每一条。在 MIMIC-IV 的 27,489 例急诊入院中,五项注册检验未发现向模拟检验结果泄漏:向五个模拟器提供诊断的影响可忽略不计,而提示式把关者稀释了诊断信号,尽管探索性结果提示它们可以提高智能体得分。最大的效应存在于病例文本中。与基于分诊记录的接诊时重建相比,基准风格的摘要将四个 LLM 的零样本准确率从 25.4% 提升至 39.7%,出院病史则提升至 45.3%,并提高了六个交互式智能体的得分,而几乎未改变其排名。该探索性差距在留出患者上的注册重复实验中得到复现。遮蔽诊断名称后差距保持不变。由于 MIMIC 缺乏同期床旁病史,该差距是后见之明的上界。我们报告所有注册结果并提出构建实践建议。
| 评论: | 8 页正文,共 20 页,6 幅图,11 张表 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2611.22241 [cs.CL] |
| (或 arXiv:2611.22241v1 [cs.CL] 为本版本) | |
| https://doi.org/10.48550/arXiv.2611.22241 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Meilu Zhu [查看邮箱]
[v1]
2026年11月17日星期二 05:43:37 UTC(137 KB)
来源:arXiv cs.CL · arxiv.org