arXiv cs.AI· Robert Moseley, Md Kaykobad Reza, Ameya Patil, Edward Ayrapetian, Salman Asif·· 2 天前AI 评分34
MSP：无需配对跨模态数据训练多模态 LLM 的模态自博弈框架
MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data
AI 导读
研究者提出 Modality Self-Play（MSP），一种基于代理中介模态组合的多模态基础模型训练框架，无需真实配对跨模态数据即可实现零样本模态组合。MSP 利用锚定模态的代理文本描述作为语义桥梁，让模型在推理时整合并推理多种模态，在多个多模态基准上达到 SOTA 或具竞争力表现。消融实验显示，学习到的桥梁改善对齐，代理描述支持有效的跨模态组合。
正文 · AI 翻译
摘要：大型多模态模型通过扩大模型容量并在海量配对多模态数据上训练，已取得显著进展。然而，这一范式引入了一个根本性瓶颈：对齐的多模态数据集构建成本高昂，难以跨多种模态组合扩展，并日益制约进一步的发展。我们提出模态自博弈（Modality Self-Play，MSP），一种基于代理介导模态组合的多模态基础模型训练框架。MSP 不依赖配对的跨模态数据，而是在训练过程中使用锚点支撑的、对未见模态的代理文本描述作为语义桥梁。给定一种已观测模态（例如图像或音频），模型为互补的未见模态生成代理描述，这些描述随后被编码，并通过学习到的桥梁与已观测模态对齐，从而在无需真实配对非文本监督的情况下实现跨模态交互。
我们的核心假设是：代理文本与经对比训练的预训练编码器相结合，能够提供足够的语义结构，使多模态组合得以涌现。我们表明，MSP 能够实现零样本模态组合：仅在真实锚点模态及伴随的代理描述上训练的模型，尽管在训练期间从未观测到真实的配对非文本数据，仍能在推理时整合并推理多种模态。在实证上，MSP 在多个多模态基准上取得了最先进或具有竞争力的性能。消融研究进一步表明，学习到的桥梁改善了对齐，而锚点支撑的代理描述实现了有效的跨模态组合。MSP 消除了对真实配对非文本（例如音频-视觉）监督的需求，同时仍依赖模态-文本对、预训练对比编码器以及模态分布桥梁校准。
| 评论： | 21 页，4 幅图，16 张表。已被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| ACM 分类： | I.2.7；I.2.10；I.5.4 |
| 引用为： | arXiv:2610.20965 [cs.AI] |
| （或 arXiv:2610.20965v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20965 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Robert Moseley [查看电子邮件]
[v1]
2026年10月14日星期三 21:41:32 UTC（2,731 KB）
来源：arXiv cs.AI · arxiv.org