arXiv cs.CL· Yiran Zhang, Hanbo Huang, Jielan Li, Zhen Zhao, Shiyu Liang, Hongxia Hao·· 2 天前AI 评分22
PACE：用成对 token 对比与自适应轨迹置信度增强多模态 RLVR
Enhancing Multimodal RLVR with Pairwise Token Contrast and Adaptive Trajectory Confidence
AI 导读
针对多模态 RLVR 中组相对策略优化把序列级优势广播到每个 token、且自蒸馏信号无法区分图像依据与语言捷径的问题，研究者提出 PACE，通过四种教师视角下的成对 token 对比判断 token 支持是否依赖图像，并用自适应轨迹置信度调节信用重分配幅度。PACE 在三个骨干模型上取得最佳平均准确率，并在 Qwen3-VL-8B-Instruct 上于所有评测的多模态推理基准排名第一。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）提升了多模态推理能力，但组相对策略优化会将单一序列级优势广播到响应的每个 token，而错误通常只集中在少数关键步骤上。近期的自蒸馏变体利用教师—学生似然差来细化信用分配。然而，该信号无法判断其依赖的是图像还是语言捷径，并且即使教师信息无用时也会被统一应用。为解决这一问题，我们提出了成对 token 对比与自适应轨迹置信度（PACE）。成对 token 对比在四种教师视图下对每个响应打分，将正确或错误的答案提示与图像存在或移除进行交叉组合，并对每个 token 比较两种提示，从而抵消两种提示共有的偏移，揭示该 token 的支持是否依赖图像。自适应轨迹置信度衡量教师在给定正确提示和图像时对每个响应的预测程度，在批次内对该分数进行归一化，并用它来设定 token 对比在该响应内重新分配信用的幅度。PACE 在三个骨干模型上取得了最佳平均准确率，并在使用 Qwen3-VL-8B-Instruct 的所有评估多模态推理基准上排名第一。实验表明，两个组件都很重要：用单视图信号替换成对 token 对比会逊于我们的方法，而自适应轨迹置信度则带来进一步提升。
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21671 [cs.CL] |
| （或 arXiv:2610.21671v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21671 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yiran Zhang [查看邮箱]
[v1]
2026年10月15日星期四 10:55:47 UTC（993 KB）
来源：arXiv cs.CL · arxiv.org