arXiv cs.CL· Jeonghyo Song, YoungJoon Yoo·· 9 天前AI 评分22
SAGE：面向视觉语言解码器视觉定位的注意力汇感知引导强调方法
SAGE: Sink-Aware Guided Emphasis for Visual Grounding in Vision-Language Decoders
AI 导读
针对视觉语言模型解码器注意力抑制视觉证据、加剧幻觉的问题，研究者提出轻量干预方法 SAGE（Sink-Aware Guided Emphasis）。该方法发现解码器早晚期层存在提示无关的注意力汇 PIS，而中间层才驱动视觉-语言对齐，据此用 CLIP、ViT、DINOv3 等视觉骨干生成的 token 对齐 ROI 掩码，将注意力从 PIS 引导至查询相关区域。
正文 · AI 翻译
摘要：近期的大型视觉语言模型（VLM）将视觉编码器与大型语言模型（LLM）配对，在多种图像-文本任务上表现良好，但其可靠性往往受限于解码器注意力病理，这些病理会抑制视觉证据并加剧幻觉。在本文中，我们重新审视视觉注意力汇，并揭示了一种结构化的、依赖于层的行为：在不同提示下，解码器的早期和晚期层表现出对相同少数图像区域的提示不变注意力坍缩，我们将其称为 PIS（提示不变汇），而中间层则变得以提示为条件，并驱动视觉-语言对齐。这种分层表明，将汇视为一种统一效应是不完整的。基于这一洞见，我们提出了 SAGE（汇感知引导强调），这是一种轻量级干预方法，利用从标准视觉骨干网络（如 CLIP、ViT 和 DINOv3）导出的 token 对齐 ROI 掩码，将解码器注意力从 PIS 引导至查询相关的感兴趣区域（ROI）。在多种视觉编码器 + 仅解码器 LLM 的 VLM 系列上进行评估时，SAGE 在使用骨干网络导出的 ROI 掩码实例化后，改善了视觉定位，减少了幻觉，并在公开的下游视觉-语言基准上取得了一致增益，包括局部证据至关重要的细粒度视觉判别设置。
| Comments: | Accepted to EMNLP 2026 Findings |
| Subjects: | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| Cite as: | arXiv:2610.11469 [cs.CV] |
| （或 arXiv:2610.11469v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11469 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
From: Jeonghyo Song [查看电子邮件]
[v1]
Thu, 8 Oct 2026 08:18:58 UTC (6,453 KB)
来源：arXiv cs.CL · arxiv.org