arXiv cs.AI· Li-Ching Chen, Andr\'es Franco Valiente, Yuta Ishiyama, Zachary R. Chalmers, William Chen, Kelsey Natsuhara, Taema Brinjikji, Madhumita Sushil, Travis Zack, Julian C. Hong·· 3 天前AI 评分26
部分可验证环境下的强化学习用于结肠癌治疗规划
Reinforcement Learning In Partially Verifiable Environments for Colon Cancer Treatment Planning
AI 导读
研究将肿瘤治疗规划建模为部分可观测下的交互式强化学习问题，用真实临床记录构建患者特异性、过程感知的奖励，智能体需先顺序采集信息再给出首选治疗方案。使用 GRPO 和 GDPO 优化 Llama-3.1-8B-Instruct，GDPO 训练的策略将 Mean@3 临床标量奖励较基座 Llama 提升 79.60%，在同一交互环境中超过 GPT-5.2 达 18.82%，同时减少训练中的查询次数。
正文 · AI 翻译
摘要：临床决策是一个在部分可观测条件下进行信息收集、临床推断和预测的序列过程，通常不存在唯一正确的治疗决策。大型语言模型（LLM）已展现出强大的医学问答能力，但将这些进展扩展到临床推理仍然具有挑战性，因为许多临床任务只能被部分验证。因此，近期的临床强化学习（RL）工作在很大程度上聚焦于诊断终点，因为其正确性可以更直接地被验证。肿瘤治疗决策是这一问题中尤为具有挑战性的实例，它超越了医学问答的范畴，因为对于同一部分观测的患者状态，多种决策轨迹在临床上都是可辩护的。我们将肿瘤治疗规划形式化为部分可观测条件下的交互式 RL 问题，并从真实世界临床记录中观察到的决策过程构建患者特异性的、过程感知的奖励。智能体必须学会从结构化患者表示中顺序获取信息，然后才给出第一线治疗推荐，并在信息收集、治疗选择和推理一致性方面接受评估。在该环境中使用 GRPO 和 GDPO 优化 Llama-3.1-8B-Instruct，RL 显著提升了基础策略，超越了前沿模型的能力。经 GDPO 训练的策略将 Mean@3 标量临床奖励较基础 Llama 提高了 $79.60\%$，在相同交互环境下超过 GPT-5.2 达 $18.82\%$，同时减少了训练期间的查询次数。总体而言，我们的结果表明，当患者状态和底层临床决策过程都只能被部分观测时，患者特异性的、部分可验证的奖励可以为交互式临床 RL 提供有效的学习信号。
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.17426 [cs.LG] |
| （或 arXiv:2610.17426v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17426 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Li-Ching Chen [查看邮箱]
[v1]
2026年10月12日星期一 21:39:21 UTC（11,813 KB）
来源：arXiv cs.AI · arxiv.org