arXiv cs.AI· Peng Zhang, Qian Chen, Xianyin Zhang, Yimin Tian, Ruite Fei, Dongyi Lv, Lifan Guo, Chi Zhang, Shuai Liu·· 10 小时前AI 评分31
Prism：面向统一多模态模型的双向自教学后训练方法
Prism: Bidirectional Self-Teaching for Unified Multimodal Models
AI 导读
Prism 是一种面向统一多模态模型（UMM）的双向自教学后训练方法，从模型自生成的交错轨迹中拆出文本链与图像链，按各自可靠性构建训练目标，无需外部验证器或人工标注的修正轨迹。
正文 · AI 翻译
摘要：统一多模态模型（UMMs）旨在在单一模型中同时支持视觉理解与生成。现有的后训练方法要么将理解作为固定的教师模型来提升生成，要么依赖真实轨迹来同时监督理解与生成。Prism 则从自生成的交错 rollout 中获取双向监督，根据其文本链和图像链的可靠性构建训练目标。我们提出 Prism，一种面向 UMMs 的双向自教学后训练方法。如同棱镜分解混合光，Prism 将耦合的交错轨迹解耦为文本链和图像链，评估每条链的可靠性，并根据其可靠性状态构建相应的训练目标。在 SenseNova-U1 和 BAGEL 上的实验表明，Prism 同时提升了理解与生成能力。在生成方面，SenseNova-U1 上 GenEval 从 85.8 提升至 89.2（+3.4），DPG 从 86.1 提升至 87.3（+1.2）。在理解方面，MME 总分从 2282.6 提升至 2311.6，MMVP 从 58.0 提升至 62.0。在 BAGEL 上也观察到一致的提升。这些结果表明，Prism 通过从自生成轨迹中构建可靠性引导的自训练目标，实现了生成与理解的协同提升，且在目标构建过程中不依赖外部验证器或外部标注的修正轨迹。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.06343 [cs.CV] |
| （或 arXiv:2611.06343v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06343 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qian Chen [查看邮箱]
[v1]
2026年11月4日星期三 11:05:07 UTC（14,517 KB）
来源：arXiv cs.AI · arxiv.org