arXiv cs.AI· Chen Zhao, Xingping Dong, Jiachun Shi, Liang Peng, Chong Wang, Zhen Lei, Ran He, Bo Du·· 9 天前AI 评分24
ResOT：通过局部化分布对齐修复大型视觉语言模型的目标幻觉
From Suppression to Repair: Mitigating Object Hallucination in Large Vision-Language Models via Localized Distribution Alignment
AI 导读
针对大型视觉语言模型（LVLM）的目标幻觉问题，研究者提出免训练方法 ResOT，在推理时通过局部化分布对齐修复表征。该方法将主导幻觉方向投影出忠实子空间，形成低维残差子空间，并用高斯最优传输（OT）对齐幻觉分布与忠实分布，自适应控制每个 token 状态向 OT 目标的移动幅度。在三个代表性 LVLM 上的实验显示，ResOT 大幅降低目标幻觉，同时提升图像描述质量与多基准多模态性能。
正文 · AI 翻译
摘要：物体幻觉仍然是大视觉语言模型（LVLM）生成可靠内容的主要障碍。一种直观的缓解策略是抑制隐藏表示中与幻觉相关的成分。然而，这些成分也可能包含有用信息，抑制它们可能会削弱模型的多模态能力。在本文中，我们提出了 ResOT，一种无需训练的方法，在推理时通过局部分布对齐来修复表示。具体而言，ResOT 将主导的幻觉方向从忠实子空间中投影出去，形成一个低维残差子空间用于干预。在该子空间内，ResOT 使用高斯最优传输（OT）将幻觉分布与忠实分布对齐。由此得到的映射定义了以对原始表示最小改动为目标的修复目标。在推理时，ResOT 自适应地控制每个 token 状态向其 OT 目标移动的距离。在三个代表性 LVLM 上的实验表明，ResOT 大幅减少了物体幻觉，同时在多个基准上提升了图像描述质量和多模态性能。代码将发布。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11826 [cs.CV] |
| （或 arXiv:2610.11826v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11826 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chen Zhao [查看邮箱]
[v1]
2026年10月8日星期四 12:25:50 UTC（1,198 KB）
来源：arXiv cs.AI · arxiv.org