arXiv cs.AI· Yijia Fan, Ziqi Huang, Zhongang Cai, Yan Li, Zimo Wen, Wanqi Yin, Haiwen Diao, Ziwei Liu·· 11 小时前AI 评分38
UMM-Reflection：用交错强化学习让统一模型学会原生反思
Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning
AI 导读
UMM-Reflection 提出用强化学习在统一多模态模型内部训练完整反思轨迹，让反思 token 与基于流的图像修订共享轨迹级优势、跨轮次联合更新，推理时无需外部验证器。在 BAGEL 上，该方法使 GenEval 较 SFT 提升 12.05 分，并迁移至 WISE（+10.97）、OneIG-Bench（+3.48）和 T2I-CompBench++（+4.63），这三个基准均未用于训练。
正文 · AI 翻译
摘要：统一多模态模型既能观察图像也能渲染图像，因此原则上它们可以修复自己生成的图像：诊断图像哪里出错、修改它、观察结果，然后再次诊断。一次修改是否有帮助只有在渲染之后才能知道，因此反思文本和图像生成必须在整个循环中联合学习。对反思轨迹进行监督微调（SFT）可以提供一个冷启动，但无法找到高成功率的修复路径，而只优化渲染器或只优化一个头的朴素强化学习（RL）会留下大部分收益未被利用。我们提出 UMM-Reflection，它在单个统一模型内对完整的反思轨迹应用强化学习（RL）：兄弟轨迹共享同一张初始图像，因此组相对优势可以比较不同的反思策略，而一个轨迹级优势同时更新反思 token 和基于流的修改，避免了逐轮信用分配的组合爆炸。与单轮编辑或带有外部评论器的流水线不同，信用可以跨轮次流动，并流向同一模型的两种角色，而且推理时不需要验证器。在 BAGEL 上，UMM-Reflection 相比 SFT 将 GenEval 提升了 12.05 分，且这些增益可以迁移到 WISE（+10.97）、OneIG-Bench（+3.48）和 T2I-CompBench++（+4.63），而这些基准均未用于训练。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.35767 [cs.CV] |
| （或此版本的 arXiv:2609.35767v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2609.35767 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yijia Fan [查看电子邮件]
[v1]
2026年9月28日星期一 17:59:36 UTC（20,973 KB）
[v2]
2026年10月20日星期二 07:26:16 UTC（21,824 KB）
来源：arXiv cs.AI · arxiv.org