arXiv cs.CL· Yueying Li, Jingxuan Fan, Kiant\'e Brantley, Sham M. Kakade, Hanlin Zhang·· 6 天前AI 评分37
无监督多模态奖励建模：冻结 Qwen3-VL 中间层实现无标注偏好训练
Unsupervised Multimodal Reward Modeling
AI 导读
研究提出一种无需人类偏好标注的多模态奖励模型：在冻结的 Qwen3-VL 主干中间层上训练线性头，让网络标题得分高于同一标题的扰动版本，标注数据仅用于选层。该中间层选择比最后一层高 5.8 分，32B 规模下在三个基准上追平或超过 GPT-4o，VL-RewardBench 领先 6.6 分，仅需数千参数和约千分之一微调算力。
正文 · AI 翻译
摘要：视觉语言奖励模型基于标注的偏好对进行训练，而这类数据收集成本高昂、可能存在分歧，并且以基准准确率来排名。我们构建了一个无需人类偏好标签的模型：在冻结的 Qwen3-VL 主干网络的中间层上接一个线性头，训练它给同一标题的扰动版本之上的网络标题打更高的分；标注数据仅用于选择层。层是关键选择，比最后一层高出 5.8 分，而且一套无需重新调参的配方在 32B 规模下在三个基准上击败或至少匹敌 GPT-4o，在 VL-RewardBench 上领先 6.6 分，仅用几千个参数、约千分之一的微调计算量。在相同的配对预算下，扰动比精心整理的 RLAIF-V 配对多教会冻结头 3 到 5 分。由于主干网络被冻结，目标函数是凸的，而扰动采样器决定了奖励，这是基准无法识别的：两个在同一扰动的互不相交的两半上训练的头在基准上打平，但在幻觉判断上相差 6.4 分。在策略自身由验证器标注的候选上重新训练该头，可将标题幻觉降低 5.1 个 CHAIR 点，并将图像生成通过率提升 5.4，同时在每个奖励基准上得分更低。
总之，中间层探针、免费的同图扰动以及验证器驱动的自举轮次，共同给出了一套多模态奖励建模配方，它无需标注者，成本仅为微调的一小部分，并且由其训练所用的比较来定义，而非由基准排名来定义。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.12707 [cs.CL] |
| （或 arXiv:2610.12707v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12707 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Yueying Li [查看邮箱]
[v1]
2026年10月8日星期四 20:38:25 UTC（957 KB）
来源：arXiv cs.CL · arxiv.org