arXiv cs.AI· Qun Dai, Liangjian Wen, Jiang Duan, Yong Dai, Dongkai Wang, Maolin Wang, Mingjie Wang, Jianzhuang Liu, He Yan, Zhao Kang·· 9 天前AI 评分22
HRIL：通过高阶张量建模学习多模态协同信息
HRIL: Learning Multimodal Synergy via Higher-Order Tensor Modeling
AI 导读
研究者提出多模态表示学习方法 HRIL，通过构建模态嵌入的经验交叉矩张量来建模多路交互，并用 Tucker 分解获取核心张量，配合协同感知正则项防止能量集中、保留高阶耦合能力。在受控协同任务和真实基准上，HRIL 相较现有多模态对比方法取得一致提升，在协同交互主导的任务上增益尤为明显。代码已开源，论文被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：自监督多模态表示学习已在多个领域取得显著成功，但由于跨模态交互的复杂性，捕捉协同信息仍然具有挑战性。与各模态间共享的信息不同，协同信息出现在任务相关信号仅由多个模态的联合配置产生、且无法从任何单一模态中恢复的情况下。本工作关注如何在多模态表示中保留此类协同信号的信息容量。关键观察是，协同信息反映在模态间的高阶统计依赖中，这为显式建模联合交互提供了有原则的目标。受此启发，我们提出高阶表示与信息学习（HRIL），它在模态嵌入上构建经验交叉矩张量以表示多路交互。HRIL 采用 Tucker 分解获得核心张量，并辅以协同感知正则化器，防止能量集中并保留用于协同信息捕捉的高阶耦合能力。在受控协同任务和真实世界基准上的实验表明，相较于现有多模态对比方法取得了一致提升，在由协同交互主导的任务上增益尤为显著。代码发布于 this https URL。
| Comments: | 被 NeurIPS 2026 接收 |
| Subjects: | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用格式： | arXiv:2610.12393 [cs.AI] |
| （或 arXiv:2610.12393v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12393 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Qun Dai [查看邮箱]
[v1]
2026年10月8日星期四 17:39:45 UTC（260 KB）
来源：arXiv cs.AI · arxiv.org