arXiv cs.AI· Lihao Zheng, Zhenwei Shao, Zhou Yu, Yan Yang, Haoyi Sun, Qian Wang, Ning Mao, Pan Zhou·· 3 天前AI 评分22
VAttnPO：视觉注意力引导的策略优化
VAttnPO: Visual Attention-Guided Policy Optimization
AI 导读
VAttnPO 用答案条件下的视觉注意力细化 token 级信用，同时保留验证器给出的轨迹平均优势，在视觉注意力空间以 Jensen-Shannon 散度衡量新旧策略一致性。
正文 · AI 翻译
摘要：带可验证奖励的多模态强化学习通常将单一序列优势分配给整个回复。这种结果级信号能区分整体回复质量，却使生成 token 间视觉证据使用的变化保持隐含。我们提出 VAttnPO（Visual Attention-Guided Policy Optimization，视觉注意力引导策略优化），它利用以答案为条件的视觉注意力来细化 token 级信用，同时保留由验证器导出的轨迹平均优势。一个冻结的旧策略通过教师强制已知正确答案来构建视觉参考，并为每个 rollout token 生成视觉分布。VAttnPO 使用 Jensen--Shannon 散度在视觉注意力空间中衡量二者的一致性，而非从教师输出 token 分布中读取引导或引入注意力匹配目标。轨迹中心化、相对位置加权和信用平衡将这种一致性转化为对 GRPO 序列优势的零均值、位置感知修正。Token 干预、视觉索引置换和轨迹分析提供了将该信号与模型行为、视觉对应关系和生成位置联系起来的诊断证据。在 Qwen3-VL-8B-Instruct 上，VAttnPO 将六任务图像 AVE 从 GRPO 的 70.97 提升至 73.50，并在所有报告的结构化、视频和 MME 指标上得分更高。相较于 GRPO 的增益在 Qwen2.5-VL-7B-Instruct 和 InternVL3-8B-Instruct 上同样成立。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16735 [cs.CV] |
| （或 arXiv:2610.16735v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16735 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Lihao Zheng [查看邮箱]
[v1]
2026年10月12日星期一 13:04:45 UTC（1,847 KB）
来源：arXiv cs.AI · arxiv.org