arXiv cs.AI· Qiuyu Kong, Zanxi Ruan, Marco Cristani, Yiming Wang·· 11 小时前AI 评分22
RoSA：缓解显著性坍缩的鲁棒显著性感知长文本图文对齐框架
Mitigating Saliency Collapse: Robust Saliency-Aware Long-Text Image-Text Alignment
AI 导读
研究者提出 RoSA 显著性感知微调框架，通过将图文对分解为显著视图与上下文视图联合学习，缓解模型过度依赖视觉显著文本、忽视非显著上下文的“显著性坍缩”问题。该框架用目标级视觉显著性估计结合 LLM 文本分解实现模态无关的分解策略，并引入可插拔辅助目标显式对齐两种视图。RoSA 显著提升长文本检索表现，在多项基准上对显著性坍缩展现强鲁棒性，代码与 checkpoint 已公开。
正文 · AI 翻译
摘要：长文本图文对齐对于细粒度场景理解至关重要，然而现有方法主要关注扩展上下文长度或改进局部对齐。我们发现了一种被忽视的失效模式——显著性坍缩，即模型过度依赖具有视觉显著性的文本，而对非显著上下文的利用不足。因此，当显著内容减少时，尽管非显著上下文仍具有信息量，检索性能仍会急剧下降。为解决这一问题，我们提出 RoSA，一个显著性感知的微调框架，它将图文对分解为互补的显著视图和上下文视图，从而实现对显著语义和上下文语义的联合学习。我们提出一种模态无关的分解策略，将对象级视觉显著性估计与基于 LLM 的文本分解相结合，以弥合视觉与语言之间的鸿沟。我们采用辅助目标来显式对齐这些视图，确保表示同时具备显著特征和上下文特征的鲁棒性。RoSA 大幅提升了长文本检索性能，并在各基准上展现出对显著性坍缩的强鲁棒性。此外，我们的辅助目标是即插即用的，能为现有调优方法带来一致的增益。代码和检查点可在以下网址获取：this https URL。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.31005 [cs.AI] |
| （或 arXiv:2610.31005v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.31005 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qiuyu Kong [查看邮箱]
[v1]
2026年10月22日星期四 09:44:57 UTC（32,220 KB）
[v2]
2026年10月23日星期五 09:09:44 UTC（32,220 KB）
来源：arXiv cs.AI · arxiv.org