arXiv cs.AI· Yuhang Han, Dingning Liu, Yujie Chen, Yaojie Zhang, Jingwei Song, Zequn Yang, Xuanming Shang, Li Ding, Zhijiang Guo, Linfeng Zhang·· 11 小时前AI 评分29
OVC：面向多模态强化学习的成果条件化视觉信用分配框架
From Visual Affinity to Learning Credit in Multimodal Reinforcement Learning
AI 导读
研究者提出 Outcome-Conditioned Visual Credit（OVC），一个可插拔框架，将视觉关联度量与 token 级信用分配分离，适用于统一分配响应级优势的策略优化方法。
正文 · AI 翻译
摘要：基于可验证奖励的强化学习（RLVR）提升了多模态推理能力，但将单一的响应级优势统一分配给所有 token，忽视了视觉观察与后续推理的不同作用。仅靠视觉亲和度并不充分：预测状态可能与图像和提示上下文表示都对齐，而提升有效视觉观察的权重，在后续推理失败时反而会放大其负优势更新。为解决这一问题，我们提出 \textbf{结果条件化视觉信用（OVC）}，这是一个即插即用框架，将视觉关联度量与 token 级信用分配分离，并可适配采用统一响应级优势分配的策略优化方法。相对视觉编码通过对比每个预测状态对图像和提示上下文表示的亲和度，构建上下文相对的视觉坐标。结果条件化证据校准将该坐标与不确定性缩放的预测特征相结合，并通过正优势与负优势响应之间的均值对比，按其正则化同侧变异缩放，校准它们对结果判别性证据的贡献。因此，视觉关联通过观察到的结果差异来影响信用，而非直接决定更新优先级。归一化信用分配将校准后的证据以响应的优势符号为条件，生成全局均值为单位的正 token 权重。这些分离的权重在保留优势符号的同时，调节各个 token 梯度的贡献。OVC 复用现有 rollout，无需辅助奖励模型、过程标注或推理时模块。通过 GSPO-token 实例化后，OVC 保留序列级裁剪，并在三个模型上持续提升 GSPO 的六基准平均准确率，增益为 1.86-2.39 个百分点。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32324 [cs.AI] |
| （或 arXiv:2610.32324v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32324 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yujie Chen [查看邮箱]
[v1]
2026年10月23日星期五 08:22:16 UTC（527 KB）
来源：arXiv cs.AI · arxiv.org