arXiv cs.AI· Tillmann Rheude, Roland Eils, Benjamin Wild·· 3 天前AI 评分22
用预拟合与冻结的 Transformer 评分器替代多模态对比学习中的手工相似度函数
Prior-Fitted and Frozen Scorers for Multimodal Contrastive Learning
AI 导读
研究者提出 Prior-Fitted Scorer（PFS），用 Transformer 充当多模态对比学习的评分器，并先在由结构因果模型（SCM）先验生成的合成多模态数据上预训练，再迁移到真实数据。在四个真实数据集上，冻结的随机初始化 Transformer 评分器即可媲美强手工对比基线，而先验拟合进一步优于随机初始化；将评分器与编码器联合优化反而效果更差。
正文 · AI 翻译
摘要：多模态对比学习通常依赖人工指定的评分函数（如余弦相似度）来量化不同模态表示之间的相似性。近期已有若干此类函数被提出，以将对比学习扩展到两种以上模态。然而从原理上讲，任何能为匹配样本赋予高兼容性、为不匹配样本赋予低兼容性的函数都可以充当评分器。受这一更广阔视角的启发，我们用 Transformer 来实例化评分器，并发现即使是一个随机初始化并保持冻结的模型，也能超越强手工设计的多模态对比基线，而将评分器与编码器联合优化则效果较差。基于这一观察，我们提出了先验拟合评分器（Prior-Fitted Scorer, PFS）：一个在由结构因果模型（SCM）先验生成的合成多模态数据上预训练的 Transformer 评分器，之后再迁移到真实数据。SCM 使评分器接触到多样的依赖结构，包括共享、成对和私有信息，从而为高阶跨模态相似性提供了结构化先验。在四个真实数据集上，冻结的 Transformer 评分器与对比基线相比具有竞争力，而先验拟合进一步改善了随机初始化。更广泛地说，我们的结果表明多模态对比学习不必依赖人工相似性函数：Transformer 可以提供强大的归纳偏置，而因果预训练可以进一步塑造这些偏置。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14770 [cs.LG] |
| （或 arXiv:2610.14770v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14770 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tillmann Rheude [查看邮箱]
[v1]
2026年10月10日星期六 09:49:02 UTC（350 KB）
来源：arXiv cs.AI · arxiv.org