arXiv cs.AI· Feize Wu, Zhiyuan Yan, Yuhuan Hong, Yuwei Niu, Zongjian Li, Zheyuan Liu, Bin Lin, Jinbo Yan, Jie Qin, Xudong Mao, Limeng Qiao, Guanglu Wan, Li Yuan·· 2 天前AI 评分22
ReasonUni：推理增强重建推进统一多模态模型
ReasonUni: Reasoning-Augmented Reconstruction Advances Unified Multimodal Models
AI 导读
研究者提出 ReasonUni，一个推理增强的重建式后训练框架，让统一多模态模型在给定原图和编辑指令后先推理"改什么、怎么改"并描述目标状态，再据此生成目标图像。配套的 TreeGRPO 采用树状强化学习，为每条推理路径采样多个候选图像并聚合视觉奖励，统一目标下同时更新理解与生成两个模块。多个 benchmark 上理解与生成均取得一致提升。
正文 · AI 翻译
作者：Feize Wu、Zhiyuan Yan、Yuhuan Hong、Yuwei Niu、Zongjian Li、Zheyuan Liu、Bin Lin、Jinbo Yan、Jie Qin、Xudong Mao、Limeng Qiao、Guanglu Wan、Li Yuan
摘要：图像到文本（I2T）理解与文本到图像（T2I）生成是统一多模态模型（UMM）中的对偶任务。重建式后训练将这两个任务耦合起来，但现有的基于重建的方法仍以感知为中心，对结构、意图和变换的推理提供的监督有限。我们提出 ReasonUni，一个推理增强的重建式后训练框架，将这种耦合扩展到感知之外。给定原始图像和编辑指令，UMM 首先推理编辑什么以及如何编辑，并描述目标状态，然后以该理解输出为条件生成相应的目标图像。为了联合优化两个模块，我们引入 TreeGRPO，一种树结构强化学习方法，它为每条路径采样多条推理路径和候选图像，然后聚合视觉奖励，在统一目标下更新两个模块。在多个基准上的实验表明，理解和生成均获得一致提升，说明推理增强的重建为 UMM 带来了真正的互惠收益。
| 评论： | 27 页，包括附录 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用格式： | arXiv:2610.20781 [cs.CV] |
| （或 arXiv:2610.20781v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20781 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Feize Wu [查看电子邮件]
[v1]
2026年10月14日星期三 18:27:53 UTC（14,528 KB）
来源：arXiv cs.AI · arxiv.org