arXiv cs.AI· Wenkai Li, Wenyi Hong, Zhuoyi Yang, Jie Tang·· 2 天前AI 评分29
视觉生成能否扩展统一多模态模型的知识边界？
Can Visual Generation Expand What Unified Multimodal Models Know?
AI 导读
研究提出 Knowledge Transfer Probing（KTP）协议，通过图像生成训练向统一多模态模型（UMMs）注入新知识，再用纯文本问答测试其可获取性。
正文 · AI 翻译
摘要：统一多模态模型（UMMs）接受图像生成监督，这使它们接触到文本中未完全记录的视觉信息。学习生成图像能否扩展预训练模型的知识？我们提出知识迁移探测（KTP），一种受控协议，通过图像生成训练提供新知识，并通过纯文本问答测试其可访问性。在七个知识类别和三个 UMM 中，我们观察到从视觉监督到语言的直接但不均衡的迁移。受这些观察启发，我们相继引入文本对齐和交错图像--文本对齐，分别通过共享知识和交错响应连接生成与回答。对选定实体的引导可以在没有 QA 监督的情况下改善对其他实体的知识访问，交错对齐带来额外收益。进一步分析表明，在图像中正确再现的知识通常更容易通过文本访问，尽管两种访问形式之间仍存在显著差距。这些发现支持视觉生成作为文本监督之外的知识来源，并推动对训练数据设计和模型架构的联合研究，以使这些知识更广泛地可访问。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21459 [cs.CV] |
| （或 arXiv:2610.21459v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21459 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Wenkai Li [查看电子邮件]
[v1]
2026年10月15日星期四 08:03:24 UTC（1,121 KB）
来源：arXiv cs.AI · arxiv.org