arXiv cs.AI· Lixuan He, Tianzhe Chu, Shulin Tian, Shikang Zheng, Feng Chen, Yi Ma·· 4 小时前AI 评分31
Gaze-RL:从多模态推理内部计算中推断奖励落点
Eyes in the Update? Learning Where Rewards Land in Multimodal Reasoning
AI 导读
Gaze-RL 提出一种表征驱动的策略优化方法,通过潜在奖励落点场重新分配轨迹级优势,该场由模型内部跨模态几何与局部预测不确定性计算得出,对视觉锚定且影响决策的位置赋予更大更新权重,同时保持均值归一以保留每条 rollout 的总信用。方法无需过程监督、辅助感知模块或架构修改,在多项图像与视频基准上同时提升 Qwen2.5-VL 和 InternVL3.5。
正文 · AI 翻译
摘要:多模态后训练已从广泛的指令微调转向面向图像与视频推理的强化学习,其中结果奖励可以提升最终答案的准确率。然而,这些奖励被分配给完整的生成轨迹,而视觉证据仅在回复中稀疏且不均衡的位置被使用。近期工作已开始通过定位信号或外部 token 级加权,使多模态强化学习对 token 更加敏感。我们提出一个更具体的问题:同一轨迹级奖励的分配,能否从模型自身的多模态计算中推断出来,而不是来自辅助标注器、感知模块或过程标签?我们提出 Gaze-RL,一种表示驱动的策略优化方法,它通过潜在奖励落点场重新分配完成级优势。该场由内部跨模态几何与局部预测不确定性计算得到,为既具有视觉锚定又承载决策的位置分配更大的更新权重,同时保持均值为一,从而保留每次 rollout 的总信用,仅改变其逐位置的分配。Gaze-RL 无需过程监督、辅助感知模块或架构修改,并在广泛的图像与视频基准上同时提升了 Qwen2.5-VL 和 InternVL3.5。
| 学科: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2611.22438 [cs.LG] |
| (或本版本的 arXiv:2611.22438v1 [cs.LG]) | |
| https://doi.org/10.48550/arXiv.2611.22438 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Lixuan He [查看邮箱]
[v1]
2026年11月17日 星期二 09:11:42 UTC(8,538 KB)
来源:arXiv cs.AI · arxiv.org