arXiv cs.AI· Xianping Ma, Yu Zhang, Mingzhe Jiang, Wanxin Xie, Qing Zhu, Nan Xu, Xiaokang Zhang, Yuanxin Ye·· 10 小时前AI 评分26
SemPair：放宽跨模态对应关系的多模态遥感预训练方法
Relaxing Cross-Modal Correspondence for Multimodal Remote Sensing Pretraining
AI 导读
研究者提出 Semantic Pairing（SemPair），用类别一致的跨实例配对替代精确实例配对，实现配对放宽的多模态遥感预训练。实验显示 SemPair 的迁移性能与精确配对（ExaPair）相当，且通过 Mixed Pairing（MixPair）发现下游迁移与实例配对比例呈非单调关系。
正文 · AI 翻译
摘要：多模态遥感预训练通常依赖跨模态的精确实例级对应关系，隐含地将严格配对的观测视为学习可迁移表示的前提条件。在本工作中，我们通过将跨模态对应关系从实例级放宽到语义级，重新审视了这一假设。我们提出了语义配对（Semantic Pairing，SemPair），这是一种配对放宽的预训练策略，用类别一致的跨实例配对替代精确的实例配对。为了刻画对应关系放宽的影响，我们构建了一个潜在因子模型，将跨模态依赖分解为共享语义结构和实例特定相关性，并表明 SemPair 在期望意义上保留了前者，同时边缘化了实例特定的跨模态相关性。我们进一步引入了混合配对（Mixed Pairing，MixPair），作为语义配对与精确配对之间的受控插值，以在连续谱上研究对应粒度。大量实验一致表明，SemPair 取得了与精确配对（ExaPair）相当的可迁移性能，而 MixPair 揭示了下游迁移与实例配对比例之间的非单调关系。这些结果表明，精确的实例对应关系并非有效的多模态遥感预训练的前提条件，并确立了跨模态对应粒度作为可迁移多模态表示学习的一个重要设计维度。更广泛地说，这一发现为在降低对昂贵的实例对齐数据依赖的情况下扩展多模态预训练提供了一条切实可行的路径。
| 评论： | 16 页，9 幅图，13 张表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13807 [cs.CV] |
| （或 arXiv:2611.13807v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13807 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xianping Ma [查看邮箱]
[v1]
2026 年 11 月 10 日星期二 09:38:55 UTC（5,447 KB）
来源：arXiv cs.AI · arxiv.org