arXiv cs.AI· Shayan Mohammadizadehsamakosh, Pritam Sarkar, Leonid Sigal, Ali Etemad, Elham Dolatabadi·· 9 天前AI 评分22
面向医疗 LVLM 的细粒度偏好优化：FiRe-MPO 如何改进 DPO
Analyzing and Improving Fine-grained Preference Optimization in Medical LVLMs
AI 导读
针对医疗大型视觉语言模型偏好优化粒度过粗的问题，研究者提出 FiRe-MPO（细粒度正则化医疗偏好优化），通过最小编辑模型自身生成构建偏好对，使优选与拒绝回答仅在临床决定性片段上不同，并用双向 token 级 KL 正则器稳定稀疏的片段级奖励。
正文 · AI 翻译
摘要：偏好优化越来越多地被用于医疗大型视觉语言模型（LVLM）的后训练，但其操作粒度远比定义临床正确性的粒度粗糙。一个回答在临床上是否优于另一个，通常取决于少数几个决定性短语，例如解剖侧别或病灶属性，以及每个短语是否得到问题所涉图像区域的支持。相比之下，直接偏好优化（DPO）及其变体将比较简化为单一的回答级标量，这种目标在结构上无法表示哪些 token 承载临床意义。我们表明这种不匹配代价高昂：在我们比较的目标中，回答级 DPO 对决定临床正确性的短语给予的奖励最少，而用监督参考替代偏好回答会打开一个风格差距，模型将其利用为奖励黑客捷径，提高了偏好准确率却没有提高临床准确率。为了在临床比较中捕捉完整反馈，我们提出细粒度正则化医疗偏好优化（FiRe-MPO）。偏好对通过最小化编辑模型自身的生成来构建，使偏好回答与拒绝回答仅在临床决定性片段上不同，并且每个都与一张扣留支持性视觉证据的病灶损坏图像配对。由于片段局部化奖励稀疏，我们用双向 token 级 KL 正则化器稳定优化。在医疗视觉问答和报告生成任务上，FiRe-MPO 在两个流行的 LVLM（一个医疗专用、一个通用）上优于 DPO、RRPO 和竞争的细粒度目标，同时增强了视觉 grounding，并对医疗短语给予比替代方案更多的奖励。
| Subjects: | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.12590 [cs.CV] |
| （或 arXiv:2606.12590v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.12590 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Shayan Mohammadizadehsamakosh [查看电子邮件]
[v1]
2026年6月10日星期三 18:35:36 UTC（5,015 KB）
[v2]
2026年10月8日星期四 06:46:23 UTC（7,091 KB）
来源：arXiv cs.AI · arxiv.org