arXiv cs.AI· Yu Mi, Licheng Pan, Jiayi Zhu, Qirui Liu, Yitong Qiao, Changtong Xu, Tao Wei, Fei Sun, Zhixuan Chu, Kui Ren·· 3 天前AI 评分24
通过纠正模态误路由缓解全模态 LLM 的跨模态幻觉
Mitigating Cross-Modal Hallucinations by Correcting Modality Misrouting in Omnimodal LLMs
AI 导读
针对全模态大语言模型在音视频干扰下的跨模态幻觉，研究者提出免训练推理时方法 CaRe（Conflict-aware Residual Intervention），通过纯文本模态探针识别候选模态反事实分支，在其预测与原始联合预测冲突时判定为"模态误路由"，并利用反事实与融合表示的残差方向引导多模态状态回归相关模态证据。
正文 · AI 翻译
摘要：全模态大语言模型（OLLMs）在视听干扰下容易产生跨模态幻觉。我们发现，对于相当一部分不正确的联合预测，与问题相关的单模态分支仍能恢复出正确答案，这表明即使任务相关证据未反映在联合预测中，它仍可从相关模态中恢复。我们将这种可恢复的失败模式称为\emph{模态误路由}。我们提出 CaRe（冲突感知残差干预），一种无需训练的推理时方法，用于识别和纠正模态误路由。CaRe 使用纯文本模态探针来识别候选的模态特定反事实分支，并在其预测与原始联合预测冲突时标记潜在的误路由。对于此类情况，CaRe 根据反事实表示与融合表示之间的差异计算残差方向，并用其将原始多模态状态引导至相关模态证据，同时在原始视听推理路径中保留两种模态。干预强度根据反事实分支的置信度自适应调整。在两个 OLLM 上的 CMM 和 AVHBench 实验表明，CaRe 始终优于所评估的推理时幻觉缓解基线。
| Comments: | 21 页，10 张图 |
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2610.18141 [cs.AI] |
| （或 arXiv:2610.18141v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18141 由 DataCite 颁发的 arXiv DOI（待注册） |
Submission history
来自：Yu Mi [查看邮箱]
[v1]
2026年10月13日星期二 10:48:01 UTC（990 KB）
来源：arXiv cs.AI · arxiv.org