arXiv cs.CL· Yixuan Li, Yuxuan Jiang, Hanwei Zhu, Hancheng Zhu, Fan Zhang, Shiqi Wang, David Bull·· 14 小时前AI 评分26
从思维链到性能增益：强化学习如何改变基于推理的图像质量评估
Of Chains and Gains: What Reinforcement Learning changes on Reasoning-based Image Quality Assessment
AI 导读
研究通过采样感知评估、受控推理干预和捷径实验发现，RLVR 训练的 VLM 在大预算 max@k 评估下优于基座模型，但超出平均水平的提升集中在分布内。RLVR 生成的思维链移植到基座模型可提升性能，且固定思维链时评分也有改善，但推理时评分对思维链的依赖反而降低，7B 模型比 32B 更明显。RL 还能利用与 MOS 相关的文本线索提升评分准确率，可能虚高 benchmark 表现。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）提升了大视觉语言模型（VLM）在图像质量评估（IQA）上的表现。现有方法常将这些增益归因于评分前推理的改进，并得到日益可信的思维链（CoT）支持。然而，这些增益是否超出采样效应，以及它们如何依赖显式推理，仍不清楚。我们通过感知采样的评估、受控推理干预和捷径实验，严格探究了这些问题。我们发现，在大预算 $\operatorname{max}_g@k$ 评估下，经 RL 训练的模型优于基座模型，而超出平均水平的改进集中在分布内。RLVR 生成的思维链在移植后能提升基座模型的表现，并在思维链固定时改进评分。然而在推理过程中，评分对思维链的依赖减弱，7B 模型比 32B 模型更明显。在思维 token 中引导探测到的质量方向对评分也几乎没有影响。最后，RL 可以通过利用与平均意见分数（MOS）相关的文本线索来提高评分准确率，这可能虚高基准表现。综上，这些发现表明 RLVR 提升了质量评分并产生了更有用的思维链，但更好的评分并不意味着对显式推理的更强依赖，而基于分数的奖励也可能鼓励对与质量无关的捷径的依赖。我们希望这项初步研究能为 IQA 中越来越多具体推理方案提供启示。
| 学科： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33203 [cs.CV] |
| （或本版本的 arXiv:2610.33203v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.33203 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yixuan Li [查看邮箱]
[v1]
2026年10月23日星期五 18:49:15 UTC（176 KB）
来源：arXiv cs.CL · arxiv.org