arXiv cs.AI· Chang Sun, Yijun Tian, Zhenwei Tang, Yuchen Deng, Yifan Simon Liu, Chenxu Wang, Wei Wang·· 4 小时前AI 评分29
PACD:面向全模态大模型跨模态幻觉的溯源感知共识解码
PACD: Provenance-Aware Consensus Decoding for Mitigating Cross-Modal Hallucinations in Omnimodal Large Language Models
AI 导读
研究者提出免训练框架 PACD,通过溯源感知共识解码缓解全模态大模型的跨模态幻觉。该方法对分支未达成共识的情况用相关性引导候选仲裁,对达成共识的情况用基于溯源的共识恢复,在四个 Omni-LLM 和五个基准上验证,跨模态幻觉缓解相对标准解码最高提升 27.6%,通用音视频推理平均相对提升 7.7%。
正文 · AI 翻译
摘要:全模态大语言模型(Omni-LLMs)整合音频、视频和文本以进行多模态推理,但仍易受跨模态幻觉影响,即一种模态会不当影响对另一种模态的预测。现有的免训练解码方法通过模态扰动或基于相关性的加权来缓解这些错误。然而,由于融合过程中无关模态线索的干扰以及难以检测共享错误,这些方法可能会抑制正确的单模态预测,并让错误的共识持续存在。为解决这些局限,我们提出溯源感知共识解码(PACD),这是一个用于缓解跨模态幻觉的免训练框架。PACD 包含两条互补路径,依据各分支是否达成共识来区分。对于未达成共识的情况,相关性引导的候选仲裁会识别与任务相关的单模态证据,并利用替代候选在预测之间进行选择性仲裁。对于达成共识的情况,基于溯源的共识恢复利用超越原则评估替代答案的逐层模态证据的一致性和强度,在置信度约束下选择性地纠正错误的共识。在四个 Omni-LLMs 和两个任务下的五个基准上进行的广泛实验证明了 PACD 的优越性。与现有方法相比,PACD 在 CMM、AVHBench 和 SVHalluc 上缓解跨模态幻觉方面,相较标准解码最高取得 27.6% 的相对提升;在 OmniVideoBench 和 FutureOmni 上的一般音视频推理方面,相较最佳基线平均取得 7.7% 的相对提升。
| 学科: | 人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.22456 [cs.AI] |
| (或 arXiv:2611.22456v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22456 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Chang Sun [查看邮箱]
[v1]
2026年11月17日星期二 09:20:20 UTC(13,256 KB)
来源:arXiv cs.AI · arxiv.org