arXiv cs.AI· Shubham Gupta, Siva Reddy, Perouz Taslakian, Valentina Zantedeschi, Cem Subakan·· 11 小时前AI 评分31
用单纯形约束表示缩小 CLIP 与 CLAP 的多模态鸿沟
Closing the Modality Gap via Simplex-Constrained Representations
AI 导读
研究提出将多模态对比模型的嵌入域从单位球面 S^{d-1} 改为概率单纯形 Δ^{d-1}，借助非负、单位质量约束作为跨模态校准，把两种模态锚定到同一坐标系。方法通过轻量 softmax 适配器与 Total Variation 相似度，在五个多模态检索基准上将质心 ℓ2 差距缩小 97–99%，检索性能匹配或超过标准无约束模型。
正文 · AI 翻译
摘要：尽管 CLIP 和 CLAP 等多模态对比模型成功学习到了共享表示，但其嵌入通常表现出持续存在的 \emph{模态差距}。我们提出通过一种纯几何方法来消除这种分离：将嵌入域从单位球面 $S^{d-1}$ 改为概率单纯形 $\Delta^{d-1}$。尽管两个流形具有相同的内在维度，但单纯形充当结构先验；其非负、单位质量的约束作为一种跨模态校准，迫使两种模态都将自身锚定在同一坐标系中。通过附加轻量级 softmax 适配器并使用全变差相似度，我们在五个多模态检索基准上将质心 $\ell_2$ 差距降低了 97--99\%。这证实了单纯形几何能够诱导真正的语义对齐，达到或超过标准无约束模型的检索性能。
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.32890 [cs.AI] |
| （或 arXiv:2610.32890v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32890 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shubham Gupta [查看电子邮件]
[v1]
2026年10月23日星期五 16:57:48 UTC（90 KB）
来源：arXiv cs.AI · arxiv.org