arXiv cs.AI· Songyuan Sui, Zhen Tan, Mohan Zhang, Rana Muhammad Shahroz Khan, Xia Hu, Tianlong Chen·· 3 天前AI 评分33
多模态一定更好吗？缺失模态鲁棒性的几何视角
Do More Modalities Always Help? A Geometric Perspective on Missing-Modality Robustness
AI 导读
多模态训练会让模型在推理时缺失某一模态的情况下反而不如单模态模型，这一现象出现在融合模型、CLIP 式双塔模型和视觉语言模型中。作者将其归因于主参数子空间中习得的跨模态依赖，并提出轻量参数编辑方法 Geodesic Unlearning（GU），沿测地线路径将主输入子空间旋转至单模态参考方向。实验显示 GU 在缺失模态推理下提升性能，同时保持全模态准确率，优于现有鲁棒性基线。
正文 · AI 翻译
摘要：缺失模态一直多模态学习中的一个长期挑战。现有方法通常通过模态恢复或自适应策略来解决这一问题。然而，它们忽视了多模态训练过程中形成的模型内部跨模态依赖关系，这些依赖关系随后会损害鲁棒性。我们系统地刻画了一种反直觉的部署时失效模式：在全模态上训练的模型，当推理时缺失一个模态时，其表现可能不如单模态模型。这一模式出现在多种架构中，例如融合模型、CLIP 风格的双塔模型以及视觉语言模型。我们表明，这种性能退化与主参数子空间中学习到的跨模态依赖关系密切相关。多模态训练会诱导这些子空间发生结构化旋转，尤其是在跨模态交互层中。这些旋转与任务对齐边距减小以及缺失模态输入下任务感知表示损害增大相关。我们提出测地线遗忘（Geodesic Unlearning，GU），一种轻量级参数编辑方法，利用 Grassmann 子空间几何进行结构化子空间校正，以提升缺失模态鲁棒性。它沿测地线路径将主输入子空间旋转至单模态参考方向。我们证明，在固定子空间距离预算内，该校正使到参考的距离最小化。跨架构和数据集的实验表明，GU 在缺失模态推理下提升性能，同时保持全模态准确率，优于强缺失模态鲁棒性基线。这些发现支持对部署时缺失模态退化的几何视角，并表明局部子空间编辑是鲁棒性校正的一条实用途径。
| Comments： | NeurIPS 2026 主会议 |
| Subjects： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.04792 [cs.AI] |
| （或本版本使用 arXiv:2610.04792v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.04792 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Songyuan Sui [查看电子邮件]
[v1]
2026年10月3日星期六 22:34:19 UTC（192 KB）
[v2]
2026年10月13日星期二 10:24:17 UTC（192 KB）
来源：arXiv cs.AI · arxiv.org