研究者提出RoSA框架缓解显著性坍缩

Qiuyu Kong等研究者提出名为RoSA的显著性感知微调框架，用于长文本图文对齐。该框架把图文对分解为显著视图与上下文视图联合学习，以缓解模型过度依赖视觉显著文本、忽视非显著上下文的“显著性坍缩”问题。 据作者介绍，RoSA用目标级视觉显著性估计结合大语言模型文本分解，形成与模态无关的分解策略，并引入可插拔辅助目标显式对齐两种视图。作者称该框架在多项基准上显著提升长文本检索表现，并对显著性坍缩展现强鲁棒性；代码与checkpoint已公开。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。