arXiv cs.CL· Kai Qian, Dongjie Xu, Weijie Shi, Jiaqi Wang, Haolun Ma, Jia Zhu, Jiajie Xu·· 13 小时前AI 评分20
MLCCD:跨 MLLM 层解耦一致性与冲突,用于多模态假新闻检测
Decoupling Consistency and Conflict across MLLM Layers for Fake News Detection
AI 导读
研究者提出 Multi-Level Consistency and Conflict Decoupling(MLCCD),从多模态大模型不同层捕捉不同层级的冲突,用于多模态假新闻检测。
正文 · AI 翻译
摘要:网络内容的可信度正日益受到多模态假新闻的威胁。真实新闻通常表现出图文语义一致,而假新闻往往包含若干不同程度的冲突,例如物体、场景、事件和主张上的不匹配。然而,现有方法通常以粗粒度和静态的方式处理一致性与冲突,限制了其捕捉稀疏冲突以及适应不同冲突程度的能力。受大语言模型不同层所编码的独特知识启发,我们提出了多层级一致性与冲突解耦(MLCCD),它从多模态大语言模型(MLLM)的不同层中捕捉不同层级的冲突。具体而言,我们首先利用 MLLM 的最终决策表示来选择与任务相关的视觉和文本 token,防止无关内容稀释稀疏冲突。然后,我们保留在相邻层之间表示变化剧烈的 token,以捕捉每一层所添加的知识。最后,我们将这些知识解耦为一致性证据和冲突证据,并用各自的路由器在层间分别聚合,以适应不同的冲突程度。在三个基准上的实验表明,MLCCD 优于现有方法。
| 评论: | 12 页 |
| 主题: | 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL) |
| 引用为: | arXiv:2610.36569 [cs.CV] |
| (或 arXiv:2610.36569v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.36569 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Kai Qian [查看邮箱]
[v1]
2026年10月27日星期二 03:18:47 UTC(411 KB)
来源:arXiv cs.CL · arxiv.org