arXiv cs.AI· Hanpeng Liu, Yaqian Li, Zidan Wang, Shuoxi Zhang, Zonglin Zhao, Zihao Bo, Rinyoichi Takezoe, Kaiwen Long, Kun He·· 6 天前AI 评分22
ITO：面向图像-文本预训练的多视图对齐与训练时融合框架
ITO: Multi-View Alignment and Training-Time Fusion for Image-Text Pretraining
AI 导读
ITO 通过多视图图像增强构建多样化跨模态对应关系，并引入轻量训练时多模态融合模块作为正则化器，推理时丢弃该模块以保持双编码器效率。在 100M–1B 图像-文本对规模下，ITO 在相同数据、骨干和算力条件下于分类、检索及多模态基准上持续优于 CLIP，且融合模块的贡献随数据规模增长，能缓解对比学习后期的过拟合。代码已开源。
正文 · AI 翻译
摘要：图像—文本对比预训练已成为视觉表征学习的主流范式，但现有方法得到的表征往往仍部分按模态而非按语义组织。我们提出 ITO，一个通过两种互补机制解决这一局限的框架，这两种机制承担不同角色。多模态多重对齐通过从多视角图像增强中构建多样的跨模态对应关系来丰富监督信号，提供判别性增益的主要来源。随后，一个轻量级的训练时多模态融合模块充当训练时正则化器，促使编码器产生在融合下兼容的特征。关键在于，融合模块在推理时被丢弃，从而保持标准双编码器架构的效率，仅带来训练时的开销。从数百万到数十亿图像—文本对的预训练规模上的大量实验表明，ITO 在中等规模上优于强对比基线，并在 100M–1B 规模上，在相同数据、骨干网络和计算量下，在分类、检索和多模态基准上相较 CLIP 取得一致增益。受控比较表明，这些增益不能仅由额外的训练计算或图像增强来解释。我们的分析进一步揭示，融合的贡献随数据规模增长，并且它稳定了优化过程，缓解了激进对比学习中常见的后期过拟合。代码见 此 https URL。
| 学科： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2603.02767 [cs.CV] |
| （或 arXiv:2603.02767v5 [cs.CV] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2603.02767 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hanpeng Liu [查看邮箱]
[v1]
2026年3月3日星期二 09:08:53 UTC (6,521 KB)
[v2]
2026年3月4日星期三 01:56:54 UTC (6,521 KB)
[v3]
2026年3月9日星期一 09:27:09 UTC (6,521 KB)
[v4]
2026年9月30日星期三 08:27:16 UTC (6,522 KB)
[v5]
2026年10月9日星期五 01:14:50 UTC (6,523 KB)
来源：arXiv cs.AI · arxiv.org