arXiv cs.CL· Daniel P. Jeong, Yewon Byun, John Giorgi, Peng Xu, Zachary C. Lipton, Michael Oberst·· 10 小时前AI 评分31
从用户编辑数据中筛选可操作反馈，提升临床文档生成模型能力
Actionable Feedback: Improving Model Capabilities from User Edit Data on Clinical Documentation
AI 导读
针对临床文档场景中超过 45% 的编辑输出包含输入不支持的用户新增信息，研究提出按临床医生编辑行为分类生成半合成编辑数据，并用简单过滤方法识别可操作编辑。在基于 MIMIC-III 的出院小结生成任务上，直接对原始编辑输出微调会增加无依据内容，而逐步过滤后微调可在保持对输入上下文忠实度的同时提升临床医生对齐指标。
正文 · AI 翻译
摘要：大型语言模型（LLM）正越来越多地部署于临床文档工作流中，临床医生在使用前会审阅并编辑其输出。原则上，这些临床医生的编辑为模型训练提供了一种可扩展的监督来源。在实践中，并非所有编辑都代表可操作的反馈：例如，在来自 AI 临床文档产品真实世界部署的数据上，我们的审查表明，超过 45% 的已编辑输出包含用户添加的、模型输入并未直接支持的信息。对此类编辑进行朴素微调存在教会模型产生幻觉的风险。在本文中，我们开发了一种方法来应对这一挑战。鉴于已部署文档工具上真实的临床医生编辑并不公开可用，我们首先基于来自已部署 AI 临床文档产品的数据，构建了临床医生编辑行为的分类体系。然后，基于我们的分类体系，我们在基于公共数据集 MIMIC-III 的出院小结生成任务上，开发了一种生成半合成临床医生编辑数据的方法。最后，我们引入了简单的过滤方法以识别可操作的编辑，其准确性由专家评审评估。我们在半合成数据集上实证表明，对原始编辑输出进行朴素微调会增加无依据内容，而我们逐步过滤趋向有依据编辑的方法，能够在保持对输入上下文忠实性的同时，改善临床医生对齐指标。
| 评论： | 预印本 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.12904 [cs.CL] |
| （或 arXiv:2611.12904v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.12904 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Daniel Jeong [查看邮箱]
[v1]
2026年10月14日星期三 19:54:40 UTC（656 KB）
来源：arXiv cs.CL · arxiv.org