arXiv cs.CL· Kai Qian, Dongjie Xu, Weijie Shi, Yezhao Xu, Jiaqi Wang, Hanghui Guo, Mengze Li, Hao Chen, Ziyi Liu, Jiajie Xu·· 13 小时前AI 评分22
HMDR：面向缺失模态假新闻检测的模态头解耦与调控方法
Decoupling and Regulating Modality Heads for Fake News Detection under Missing Modality
AI 导读
针对多模态新闻在传播中丢失图像或文本、原有真实性标签不再可靠的问题，研究者提出 Head-wise Modality Decoupling and Regulation（HMDR），通过按注意力偏好软分组解耦模态表示、补偿不平衡模态注意力来调控各头贡献，并用模态不变性学习对齐单模态表示。两个基准实验显示，HMDR 在缺失模态下提升检测性能，同时在完整输入上保持原有表现。
正文 · AI 翻译
摘要：多模态新闻在跨 Web 平台传播时常常丢失其图像或文本。现有方法将此视为信息丢失，并假设原始真实性标签仍然有效。这一假设对于复用真实素材的假新闻并不成立，因为其剩余部分可能是真实的。因此，检测器应解耦模态线索，并根据模态可用性调整其贡献。然而，粗粒度的新闻标签难以为模态解耦提供指导，而在完整输入上训练可能引入模态偏差。为应对这些挑战，我们针对多模态大语言模型提出了逐头模态解耦与调控（HMDR）。首先，模态头解耦通过基于注意力偏好的软头分组来解耦模态表示。其次，模态头调控通过补偿不平衡的模态注意力来调控各头的贡献。最后，模态不变性学习通过在替换某一模态时对齐各模态的表示来促进不变性。在两个基准上的实验表明，HMDR 在缺失模态下提升了检测性能，同时在完整输入上保持了性能。
| 评论： | 10 页。修订稿；更新了标题和作者列表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2604.09711 [cs.CV] |
| （或使用 arXiv:2604.09711v2 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2604.09711 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kai Qian [查看邮箱]
[v1]
2026 年 4 月 8 日星期三 04:13:55 UTC（1,606 KB）
[v2]
2026 年 10 月 27 日星期二 03:00:21 UTC（327 KB）
来源：arXiv cs.CL · arxiv.org