arXiv·· 13 天前AI 评分34
多模态饱和的几何成因：Riemannian VICReg
On the Geometry of Multimodal Saturation: Riemannian VICReg
AI 导读
在九个图像-文本-表格数据集上，三模态模型在 VICReg 下有 55.6% 的配对运行不如其自身最佳双模态子集，SimSiam 下同样有 51.1% 出现该现象，研究者将这种失败称为"多模态饱和"。为此提出 Riemannian VICReg（R-VICReg），通过可学习负曲率乘积因子上的测地距离平方对齐视图，对经典 VICReg 进行推广。
来源：arXiv · arxiv.org