跳到正文
arXiv·· 13 天前AI 评分22

ROT:旋转隐藏状态向上下文向量对齐,缓解 LVLM 幻觉

ROT: Rotating Hidden States towards Contextual Vectors for Hallucination Mitigation in LVLMs

AI 导读

针对大型视觉语言模型(LVLM)的物体幻觉问题,研究者提出免训练干预方法 ROT,不再调整注意力权重,而是直接作用于自注意力与残差相加后提取的隐藏状态向量。实证分析发现,幻觉 token 并非单纯过度依赖语言先验,而是对文本与视觉上下文的相似度都显著偏低,呈现异常的上下文偏离。

来源:arXiv · arxiv.org