arXiv cs.AI· Zhongan Bi, Kepeng Lin, Xuanang Gao, Yuhan Sun, Lianrun Zhang·· 3 天前AI 评分29
视觉敏感性不等于主张可撤回：多模态强化学习中的持久性感知信用分配
Visual sensitivity is not claim retractability: persistence-aware credit assignment for multimodal reinforcement learning
AI 导读
针对 RLVR 训练中视觉主张缺乏图像支撑的问题，研究者提出持久性感知信用门控（PACG），对异常持久的视觉主张衰减正向信用，无需标注且不增加推理成本。在 Qwen2.5-VL-7B 上，PACG 将九项基准三种子均值从 58.1% 提升至 59.9%（DAPO）、从 59.8% 提升至 60.9%（VPPO），并提升 HallusionBench 准确率。
正文 · AI 翻译
摘要：可验证奖励强化学习（RLVR）已被扩展到大型视觉语言模型（LVLMs），而感知感知方法进一步鼓励策略依赖视觉证据。然而，依赖图像并不能保证视觉主张得到图像的支持。在 RL 训练之前，Qwen2.5-VL-7B 在四个多模态推理基准上正确回答的响应中有 27.81% 包含至少一个图像不支持的直接视觉主张。由于结果级 RL 将每个响应作为一个整体进行奖励，这些主张继承了正确答案的正向信用。我们引入了一种固定 rollout 的反事实诊断方法，在干预图像下对同一响应重新评分，以将证据功能敏感性（EFS，即模型预测变化的强度）与主张持续性（即模型是否继续支持同一主张而非撤回）区分开来。该诊断揭示了敏感性-持续性解耦（SPD）：在 DAPO 和 VPPO 下，EFS 增加且主张总体上变得更可撤回，但不受支持的主张变得显著更加持续，而 GRPO 提高了 EFS 却没有这种恶化。因此，我们提出了持续性感知信用门控（PACG），它减弱对异常持续的视觉主张的正向信用，并保持所有其他信用不变。它不需要支持/不支持的标签，也不增加推理成本。在 Qwen2.5-VL-7B 上，PACG 在三个随机种子下将九个基准的平均值从 58.1% 提高到 59.9%（DAPO），从 59.8% 提高到 60.9%（VPPO），同时使不受支持的主张更可撤回。这些增益可扩展到更大的模型、更新的骨干网络，并且 HallusionBench 的准确率也持续提升。这些结果表明，视觉敏感性和主张可撤回性是多模态信用分配的两个互补维度。
| 评论： | MLLM,RL |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | F.2.2; I.2.7 |
| 引用为： | arXiv:2609.36572 [cs.AI] |
| （或 arXiv:2609.36572v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.36572 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhongan Bi Xinfei [查看电子邮件]
[v1]
2026年9月29日星期二 02:52:07 UTC（3,825 KB）
[v2]
2026年9月30日星期三 02:54:06 UTC（3,824 KB）
[v3]
2026年10月11日星期日 15:00:28 UTC（3,824 KB）
来源：arXiv cs.AI · arxiv.org