arXiv cs.AI· Jaeyong Ko, Hankyeol Kim, Pilsung Kang·· 14 小时前AI 评分38
Oddin：统一多模态模型通过图像生成自蒸馏实现潜在视觉推理
Oddin: Latent Visual Reasoning in Unified Multimodal Models via Self-Distillation from Image Generation
AI 导读
Oddin 提出一种在统一大语言多模态模型（ULMMs）中实现潜在视觉推理的框架，用紧凑的 latent token 替代中间图像、全部交由理解分支处理，生成分支只负责输出最终图像。模型通过离线自蒸馏训练，结合最终图像生成损失、文本蒸馏损失和特殊 token 的交叉熵损失三项目标。在七个 VBVR-Pro 视觉推理任务上，Oddin 平均表现超过交错生成基线和闭源 VLM。
正文 · AI 翻译
摘要：统一大型多模态模型（ULMMs）能够通过交错的文本-图像生成进行视觉推理，但生成显式的中间图像会带来显著的计算开销。虽然视觉潜在推理解决了这一问题，但大多数现有方法依赖于无法进行视觉生成的视觉-语言模型（VLMs）。我们提出了 Oddin，一种在 ULMMs 中实现潜在视觉推理的新框架。Oddin 用紧凑的潜在 token 替代中间图像，这些 token 完全由理解分支处理，而生成分支则保留用于最终输出图像。我们通过离线自蒸馏训练该模型，包含三个目标：最终图像生成损失、文本蒸馏损失以及特殊 token 的交叉熵损失。在七个 VBVR-Pro 视觉推理任务上，Oddin 的平均表现超越了交错生成基线和闭源 VLMs。定性分析表明，潜在 token 会关注输入图像中的相关区域，证明 ULMMs 无需生成中间图像即可执行复杂的视觉推理。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.33062 [cs.CV] |
| （或 arXiv:2610.33062v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33062 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hankyeol Kim [查看电子邮件]
[v1]
2026年10月19日星期一 14:07:28 UTC（1,010 KB）
来源：arXiv cs.AI · arxiv.org