arXiv cs.CL· Guimin Hu, Qiwei Peng·· 2 天前AI 评分22
FaShift：面向多模态学习的因子级选择性分布偏移处理框架
Beyond Invariance: Factor-wise Selective Treatment of Shifts for Multimodal Learning
AI 导读
FaShift 提出因子级分布偏移处理框架，通过分解多模态表征并评估各因子的分布变化、干预效应与跨环境稳定性，将潜在因子区分为非预测性、稳定预测性和预测有用但不稳定三类，分别进行抑制、保留或衰减处理，而非统一强制不变性。
正文 · AI 翻译
摘要：分布偏移对鲁棒多模态学习构成了根本性挑战。现有方法通常通过抑制依赖环境的变化来促进不变性，隐式地对偏移信息施加统一处理。然而，偏移信息可能具有不同的预测后果：有些对预测贡献甚微，有些仍具有可靠的信息量，还有些则表现出依赖环境的预测效应。这引出了一个根本性问题：哪些偏移信息应被抑制、保留或衰减？为解决这一问题，我们提出了 FaShift，一个因子级偏移框架，根据潜在表示因子的分布变化、干预效应和跨环境稳定性对其进行诊断。通过分解多模态表示并评估这些互补属性，FaShift 区分出非预测性因子、稳定预测性因子以及预测有用但不稳定的因子。随后，它选择性地抑制、保留或衰减它们的贡献，而非强制统一的不变性。在 MOSI、MOSEI 和 CH-SIMS 上的实验表明，FaShift 在所有三个数据集上均取得了最佳的 ID 准确率和 F1。与报告 OOD 结果的最强竞争者相比，它在 MOSI 上将 OOD 准确率/F1 提升了 1.5/3.6 个百分点，在 MOSEI 上提升了 1.7/2.7 个百分点，同时在 CH-SIMS 上取得了已报告的最佳 OOD 准确率和 F1。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21403 [cs.CL] |
| （或 arXiv:2610.21403v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21403 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qiwei Peng [查看邮箱]
[v1]
2026年10月15日星期四 07:21:45 UTC（6,028 KB）
来源：arXiv cs.CL · arxiv.org