arXiv cs.AI· Zhiqiang Wu, Shuang Sun, Jiale Zhang, Jing Li, Yibo Chen, Xu Tang, Yao Hu·· 13 小时前AI 评分31
DeCoRL:面向多图组合的分解式一致性强化学习框架
DeCoRL: Decomposed Consistency Reinforcement Learning for Multi-Image Composition
AI 导读
DeCoRL 提出一种强化学习框架,将多图组合(MICo)的整体一致性拆解为对象级一致性,通过建立参考图间的指令相关对象对应关系,并用基于 VLM 的奖励模型给出对象级细粒度反馈,聚合为多对象一致性奖励来指导 RL 后训练。团队同时推出覆盖 2 至 6 张参考图的 DeCo-Bench 基准,在 DeCo-Bench 与公开的 MICo-Bench 上均取得一致性提升。
正文 · AI 翻译
摘要:多图合成(MICo)是大规模图像编辑模型的一项关键但具有挑战性的能力,随着参考图像数量的增加,一致性会迅速下降。虽然监督微调(SFT)可以使模型具备基本的 MICo 能力,但它仅对合成图像提供隐式监督,往往无法学习到跨多张参考图像的可靠物体级对应关系。我们提出 DeCoRL,一个强化学习(RL)框架,通过将整体 MICo 一致性分解为物体级一致性来提升 MICo 一致性。DeCoRL 首先在参考图像之间建立与指令相关的物体对应关系,并在生成图像中定位相应区域。然后,它使用基于 VLM 的奖励模型(在单物体一致性标注上训练)产生细粒度的、逐物体的反馈,并将其聚合为多物体一致性奖励,以指导 RL 后训练。我们进一步推出 DeCo-Bench,一个涵盖 2 至 6 张参考图像合成的基准。在 DeCo-Bench 和公开的 MICo-Bench 上的实验表明,MICo 一致性得到了一致提升。
| 评论: | NeurIPS |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.39265 [cs.CV] |
| (或 arXiv:2610.39265v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.39265 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Zhiqiang Wu [查看邮箱]
[v1]
2026年10月29日 星期四 03:18:03 UTC(5,410 KB)
来源:arXiv cs.AI · arxiv.org