多模态一定有用吗？缺失模态鲁棒性的几何视角

研究系统刻画了一种反直觉的部署期失效模式：在全模态上训练的多模态模型，当推理时缺失某一模态，表现可能反而不如单模态模型。该现象出现在融合模型、CLIP 式双塔模型等多种架构中，作者从几何视角分析多模态训练中形成的内部跨模态依赖，指出其会损害鲁棒性，而现有模态恢复或自适应方法忽视了这一点。