跳到正文
arXiv cs.CL· Kai Qian, Dongjie Xu, Weijie Shi, Jiaqi Wang, Haolun Ma, Jia Zhu, Jiajie Xu·· 13 小时前AI 评分20

MLCCD:跨 MLLM 层解耦一致性与冲突,用于多模态假新闻检测

Decoupling Consistency and Conflict across MLLM Layers for Fake News Detection

AI 导读

研究者提出 Multi-Level Consistency and Conflict Decoupling(MLCCD),从多模态大模型不同层捕捉不同层级的冲突,用于多模态假新闻检测。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:网络内容的可信度正日益受到多模态假新闻的威胁。真实新闻通常表现出图文语义一致,而假新闻往往包含若干不同程度的冲突,例如物体、场景、事件和主张上的不匹配。然而,现有方法通常以粗粒度和静态的方式处理一致性与冲突,限制了其捕捉稀疏冲突以及适应不同冲突程度的能力。受大语言模型不同层所编码的独特知识启发,我们提出了多层级一致性与冲突解耦(MLCCD),它从多模态大语言模型(MLLM)的不同层中捕捉不同层级的冲突。具体而言,我们首先利用 MLLM 的最终决策表示来选择与任务相关的视觉和文本 token,防止无关内容稀释稀疏冲突。然后,我们保留在相邻层之间表示变化剧烈的 token,以捕捉每一层所添加的知识。最后,我们将这些知识解耦为一致性证据和冲突证据,并用各自的路由器在层间分别聚合,以适应不同的冲突程度。在三个基准上的实验表明,MLCCD 优于现有方法。
评论: 12 页
主题: 计算机视觉与模式识别(cs.CV);计算与语言(cs.CL)
引用为: arXiv:2610.36569 [cs.CV]
  (或 arXiv:2610.36569v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.36569

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Kai Qian [查看邮箱]
[v1] 2026年10月27日星期二 03:18:47 UTC(411 KB)

来源:arXiv cs.CL · arxiv.org