arXiv cs.AI· Dominik Schnaus, Thomas Dag\`es, Daniel Cremers, Xi Wang, Phillip Isola·· 9 天前AI 评分30
共享几何作为罗塞塔石碑：无需配对数据的跨模态对齐
Shared Geometry As A Rosetta Stone: Cross-Modal Alignment Without Paired Data
AI 导读
研究者提出 Wasserstein Procrustes 方法，仅通过估计单一正交映射，无需任何配对样本即可实现独立训练模型间的粗略跨模态对齐。在极少配对样本场景下，该方法显著优于现有方法，并能支持无配对样本的文本到图像生成。标准几何对齐指标可准确预测对齐何时可行。
正文 · AI 翻译
摘要：多模态表示能够实现零样本分类和检索，但对齐独立训练的模型通常需要大量配对数据。然而，柏拉图表示假说表明，在不同模态上训练的模型可能会自发地收敛到共享的表示几何结构。那么，我们是否还需要配对样本来进行跨模态对齐？值得注意的是，我们表明，对于粗略的跨模态对齐，配对样本是不必要的。我们简单的 Wasserstein Procrustes 方法结合粗略几何初始化，通过估计单个正交映射来对齐两个不相交的嵌入集，而无需看到任何配对。跨数据集、模态和单模态模型，我们表明我们可以一致地对齐独立训练的表示而无需配对，并且标准几何对齐指标能够准确预测何时可以实现这一点。尽管如此，我们自然可以从配对样本中受益。在极少配对的情况下，我们的方法大幅优于现有方法，同时在添加更多样本时与基于配对的方法保持竞争力。最后，我们证明所得的对齐能够实现无需配对样本的文本到图像生成。这些结果表明，独立训练的模型通常共享足够的几何结构，从而以很少或无需配对数据建立跨模态对应关系。
| 评论： | 项目：此 https URL，代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.09411 [cs.LG] |
| （或 arXiv:2610.09411v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09411 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Dominik Schnaus [查看电子邮件]
[v1]
2026年10月7日星期三 04:12:30 UTC（14,949 KB）
[v2]
2026年10月8日星期四 13:12:22 UTC（14,948 KB）
来源：arXiv cs.AI · arxiv.org