arXiv cs.CL· Zhixin Cai, Ruoqi Yuan, Xinchen Yang, Zhuofan Chen, Jun Bai, Chuantao Yin, Wenge Rong·· 3 天前AI 评分20
ARP-CD：用注意力引导表征扰动缓解视频大模型幻觉
Mitigating Video Hallucinations via Attention-Guided Representation Perturbation
AI 导读
研究者提出免训练框架 ARP-CD，通过在表征空间构造对比负样本缓解 Video LLM 的视频幻觉：利用答案预测位置上视觉 token 的注意力质量，引导语言模型输入视觉隐状态做有界梯度更新，降低视觉注意力并生成负样本，与原始分支预测对比。在四个 Video LLM 和四个基准上，ARP-CD 在多数模型—基准组合中优于代表性免训练基线，减少幻觉的同时提升通用视频理解。
正文 · AI 翻译
摘要：视频大语言模型（Video LLM）经常生成输入视频不支持的回复。对比解码（CD）可以缓解这些幻觉，但其有效性取决于负分支如何削弱视觉证据。现有方法依赖预定义的扰动或由问题重构引导的掩码，对模型在答案生成过程中的视觉依赖控制有限。我们提出了用于对比解码的注意力引导表示扰动（ARP-CD），这是一个无需训练的框架，可直接在表示空间中构建对比负样本。ARP-CD 利用答案预测位置分配给视觉 token 的注意力质量，来引导语言模型输入视觉隐藏状态的有界梯度更新。这些更新会降低视觉注意力并产生一个负输入，其预测在整个生成过程中与原始分支的预测进行对比。在四个 Video LLM 和四个基准上的实验表明，在大多数模型—基准设置中，ARP-CD 优于具有代表性的免训练基线，在减少幻觉的同时提升了通用视频理解能力。进一步分析表明，注意力引导的扰动方向提高了负样本质量，并且由此产生的负样本为纠正原始预测提供了有效的对比参考。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19728 [cs.CV] |
| （或 arXiv:2610.19728v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19728 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zhixin Cai [查看邮箱]
[v1]
2026年10月14日星期三 07:50:08 UTC（3,631 KB）
来源：arXiv cs.CL · arxiv.org