arXiv cs.AI· Jinghao Xu, Zhenhua Guo, Xiaofeng Zhu, Xiaoshuang Shi·· 10 天前AI 评分18
ACML：面向多模态学习的动态对齐与校准框架
Dynamic Alignment and Calibration for Multimodal Learning
AI 导读
针对静态跨模态对齐易导致过度对齐、置信度融合忽视特征幅度差异的问题，研究者提出多模态学习框架 ACML，包含动态跨模态三元组对齐模块与差异感知注意力校准策略。在多个多模态基准数据集上，ACML 的性能与鲁棒性持续优于近期 SOTA 方法。
正文 · AI 翻译
摘要：动态多模态学习旨在通过自适应地建模模态间的信息差异来学习鲁棒的表示。然而，现有方法仍存在两个局限：（i）静态的跨模态对齐策略通常对所有样本施加统一的约束，而忽略了样本间的差异，可能导致不合理的过度对齐；（ii）基于置信度或不确定性的融合方法往往未能充分考虑模态间的特征幅度和置信度差异。对于特征幅度差异显著或置信度差距较小的模态对，严格按照置信度来对齐融合权重可能并不可靠。为解决这些问题，我们提出了一个对齐与校准驱动的多模态学习框架（ACML）。具体而言，ACML 引入了一个动态跨模态三元组对齐模块，该模块对高置信度的正样本对施加强语义一致性约束，同时根据高置信度与低置信度正样本对之间的置信度差距，鼓励它们之间进行多样化的表示学习。此外，ACML 引入了一种差异感知的注意力校准策略，该策略根据模态间的特征幅度和置信度差异自适应地调整注意力正则化，从而减轻由不合理融合约束引起的偏差。在多个多模态基准数据集上的大量实验表明，ACML 相较于近期的最先进方法始终取得更优的性能和鲁棒性。
| 评论： | 17 页 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07928 [cs.CV] |
| （或 arXiv:2610.07928v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07928 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jinghao Xu [查看电子邮件]
[v1]
2026年10月6日星期二 08:05:46 UTC（276 KB）
来源：arXiv cs.AI · arxiv.org