arXiv cs.CL· Jiafeng Liang, Xianhao Ou, Tao Ren, Rongchuan Mu, Runxuan Liu, Dandan Tu, Ming Liu, See-Kiong Ng, Bing Qin·· 12 小时前AI 评分27
视频 RLVR 中的捷径放大：从感知不确定性坍缩视角揭示并推出 BSPO
Uncovering Shortcut Amplification in Video RLVR through the Lens of Perceptual Uncertainty Collapse
AI 导读
研究发现视频 RLVR 的结果级优化会放大捷径效应，模型更倾向文本先验答案而非视觉证据，并识别出“感知不确定性坍缩”现象：RL 训练持续锐化答案分布，但视觉证据带来的不确定性下降逐步减弱。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）已成为增强大型多模态模型（LMMs）视频推理能力的有效后训练范式。尽管其在实证上有效，我们表明结果层面的优化会引入一种不良的捷径放大效应，即模型越来越偏好文本先验答案，即使这些答案并不受视觉证据支持。为刻画这一行为，我们从感知不确定性的视角研究视频 RLVR 的训练动态，分析预测不确定性在视频条件与纯文本上下文下如何演变。我们的分析识别出一种感知不确定性坍缩现象，即 RL 训练持续锐化模型的答案分布，而归因于视觉证据的不确定性降低却逐渐减弱。进一步的梯度方向分析表明，这种置信度提升与基于视觉的不确定性降低越来越不一致，反而由文本先验压缩主导。受这些发现启发，我们提出双焦自蒸馏策略优化（BSPO），一种自蒸馏框架，用两个互补的分布信号调节策略更新。具体而言，BSPO 从组内正确与错误 rollout 中推导经验推理原则以识别推理敏感 token，并引入捷径感知的视觉扰动，以惩罚在任务相关视觉证据被削弱时仍保持不变的预测。通过自适应地重新加权原始 RL 优势，BSPO 保留了 RLVR 的任务求解收益，同时促进既推理敏感又基于视觉的更新。大量实验验证了 BSPO 在提升视频推理性能和增强视觉忠实度方面的有效性。
| 学科： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.37211 [cs.CV] |
| （或 arXiv:2610.37211v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37211 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiafeng Liang [查看邮箱]
[v1]
2026年10月27日星期二 13:26:13 UTC（1,200 KB）
来源：arXiv cs.CL · arxiv.org