ResidencyRL：在模拟临床环境中用强化学习训练临床 AI 智能体

作者：Valentin Liévin、Samuel Schmidgall、Tim Strother、Alex Bijamov、Akshay Goel、Anil Palepu、Chunjong Park、Vahid Balazadeh、Min Woo Sun、Marius Guerard、Justin Chen、Dave Steiner、Vikram Dhillon、Ibrahim Azar、Akhil Mehta、Nicholas Spetsieris、Shilpan Shah、Maen Abdelrahim、Amit Dahiya、Yun Liu、Katherine Chou、Yossi Matias、Avinatan Hassidim、Dale R. Webster、Quoc V. Le、Raia Hadsell、Joelle Barral、Carey Radebaugh、Aleksandra Faust、Shekoofeh Azizi、Mike Schaekermann、Po-Hsuan Cameron Chen、Tao Tu、David Racz、Lin Yang

查看 PDF HTML（实验性）

摘要：在医学教育中，医生通过住院医师培训将学术知识转化为临床专长：历经数年、跨越数千次诊疗接触的训练，伴随多样化的反馈来源和逐步增强的自主权。临床推理在很大程度上依赖于患者就诊过程，即一场对话，临床医生在其中采集病史、完善诊断假设，并在不确定条件下决定处置方案。尽管大语言模型（LLM）在静态医学基准上表现出色，但优化完整临床决策序列的方法仍不成熟。我们提出 ResidencyRL，一种强化学习（RL）方法，通过模拟多轮临床就诊（每条轨迹最多 60 轮对话和 8 次工具调用）来训练临床人工智能（AI）智能体。ResidencyRL 将策略智能体与能够进行复杂、对抗性行为的 LLM 模拟器配对，并针对与诊断准确性、处置质量、沟通、文书记录和安全性相一致的结构化奖励进行训练。在留出评估中，ResidencyRL 智能体在对抗性条件下将诊断准确性提高 7.0%（88.0% 对 81.0%），并将漏报危险信号率降低 31%，展示了对过早结论的严格缓解。盲法专家临床医生验证了这些提升，在 87.6% 的并排比较中更偏好训练后的智能体。这些程序性能力可迁移至未见过的基准：该智能体在 AMIE 多访视基准的全部六个临床维度上均优于基础模型，并在 AgentClinic 和 CRAFT-MD 上表现出一致的定向改进。我们的发现表明，序列化临床决策可以通过模拟中的多轮 RL 有效学习，产生稳健、可泛化的能力，为通向临床精通铺平道路。仍需在真实世界工作流程中进行前瞻性验证，以确立临床效用。

提交历史

发件人：Lin Yang [查看邮件]
[v1] 2026年8月7日星期五 17:04:41 UTC（4,294 KB）
[v2] 2026年10月9日星期五 17:41:01 UTC（4,057 KB）