arXiv cs.AI· Julien Kordes, Reuben Dorent·· 6 天前AI 评分24
通过蒸馏最优传输实现少量配对数据的表示对齐
Representation Alignment from a Few Paired Data via Distilled Optimal Transport
AI 导读
该方法在仅有 N~100–500 对配对样本、两侧无配对数据充足的条件下，将每个表示表达为与 N 个配对锚点的相似度，把两种模态放入同一坐标系，并用一个在全部数据池上求解的熵最优传输问题匹配两个点云，其边缘约束可抑制最近邻匹配中的 hubness 问题。
正文 · AI 翻译
摘要：对齐两个独立预训练的单模态编码器通常需要数百万对配对样本。在本文中，我们研究仅有 $N \sim 100$--$500$ 对配对样本可用、而两侧未配对数据都很丰富的场景。我们的方法将每个表示表达为其与 $N$ 个配对锚点的相似度，从而将两种模态置于同一坐标系中；通过在整个样本池上求解单个熵最优传输问题来匹配两个点云，其边缘约束可抵消导致最近邻匹配失效的枢纽性；并将所得传输方案蒸馏为两个轻量级编码器，使对应关系具有归纳性。我们还将该边缘约束与双语词典归纳文献中的一步枢纽校正联系起来。配对仅对锚点有要求：未配对集合可以分别从两个边缘分布中独立抽取，因此锚点集之外的任何条目都无需同时观测到其两种模态。我们在图像-文本和分子-文本对齐任务上进行评估，在相同的锚点预算下，我们的方法在 Flickr30k、MS-COCO 和 ChEBI-20 上优于现有方法。
| 评论： | 预印本 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12781 [cs.AI] |
| （或 arXiv:2610.12781v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12781 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Reuben Dorent [查看邮箱]
[v1]
2026年10月8日星期四 22:38:46 UTC（13,412 KB）
来源：arXiv cs.AI · arxiv.org