arXiv cs.CL· Aryan Chowdhury, Yizheng Sun, Thomas Carroll, Riza Batista-Navarro·· 10 小时前AI 评分22
MOSAIC：用模态分区梯度路由解决任务对模态的依赖失衡
MOSAIC: Addressing Disproportionate Task-Modality Dependencies via Modality-Partitioned Gradient Routing
AI 导读
MOSAIC（MOdality-Separated Architecture with Inter-modal Cross-attention）通过保留单模态表示、以模态专属损失将梯度路由到对应分区，解决多任务中任务对特定模态依赖失衡的问题。
正文 · AI 翻译
摘要：在多任务设置中，组合多种模态使任务表示能够利用单一模态无法捕捉的信号。然而，单个任务可能不成比例地依赖特定模态，而传统的基于融合的架构并未显式建模这种结构，而是强制采用统一的表示空间。因此，一个任务的梯度可能影响与其几乎不依赖的模态相关的参数，从而留下在相互竞争的需求之间妥协的特征。尽管先前的工作已探索了任务加权和损失平衡策略，但其有效性受限于缺乏显式的模态分离，使模型无法根据各模态对任务的重要性来优化每个模态。为解决这些局限，我们提出 MOSAIC（带模态间交叉注意力的模态分离架构），它保留单模态表示，同时实现它们之间受控的交互，并使用模态特定的损失将梯度路由到相应的分区。在《日常日语会话语料库》（CEJC）上，MOSAIC 在四个任务上将平均宏 F1 提高了 7.4 分，同时相对于基于融合的基线将骨干参数减少了 72%。我们的结果表明，模态分区在各任务上带来一致的增益，同时所需的骨干参数远少于基于融合的设计。
| Comments: | 9 页，1 图，3 表 |
| Subjects: | 机器学习（cs.LG）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.41004 [cs.LG] |
| （或 arXiv:2610.41004v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41004 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Aryan Chowdhury [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 21:37:34 UTC（90 KB）
来源：arXiv cs.CL · arxiv.org