多模态学习的动态对齐与校准

针对多模态学习中静态跨模态对齐对所有样本施加统一约束、易导致过度对齐的问题，以及现有置信度或不确定性感知融合方法未能充分考虑各模态特征幅度与置信度差异的缺陷，研究提出动态对齐与校准方法。该方法通过自适应建模模态间信息差异来学习鲁棒表征，尤其针对特征幅度差异显著的模态对。