arXiv cs.AI· Hao Li, Zhengkun Zhang, Gangqiang Hu, Zhen Zhang, Yude Gao, Dai Dai, Jing Liu·· 6 天前AI 评分29
RLVR²：基于可验证评分标准排序的强化学习
RLVR$^{2}$: Reinforcement Learning with Verifiable Rubric-based Ranking
AI 导读
针对多维度评分标准下 RLVR 的奖励聚合问题，研究者提出 RLVR²，将各评分标准的分数转为组内序数结果，从比较矩阵中恢复潜在效用并合并为单一训练信号，避免校准异质评分尺度。在 3 种模型规模和 16 个 benchmark 上，RLVR² 均优于代表性评分标准基线，在多数 benchmark 上取得最佳整体表现。该方法还支持在不扩展评分标准的情况下引入与排序相关但非训练目标的辅助属性。
正文 · AI 翻译
摘要：可验证奖励强化学习（RLVR）正从数学、代码等具有明确定义正确性信号的任务，扩展到由多维评分标准所规定的多方面质量要求。由于策略优化每次 rollout 只消耗一个标量，基于评分标准的流程必须将多个准则分数映射为一个标量奖励。这种聚合常被视为分数缩放，但它隐式地决定了训练过程中各质量维度之间如何权衡。主流做法是对每个准则进行归一化并取线性组合，这假设各准则之间的基数分数差异具有可比性，且某一准则上的收益可以补偿另一准则上的失败；当各准则在语义上异质时，这两个假设都不可靠。我们提出基于可验证评分标准排序的强化学习（RLVR$^2$），一种用于基于评分标准的 RLVR 的可验证排序范式。对于每个准则，RLVR$^2$ 将评分标准分数转换为该准则特定的组内序数结果，从所得比较矩阵中恢复潜在效用，并将这些效用合并为一个训练信号。通过仅保留组内排序并丢弃原始分数幅度，RLVR$^2$ 避免了对异质评分标准量表的校准。它进一步支持保持目标的属性调整：与观测到的排序相关但并非训练目标的辅助属性可以进入估计，而无需扩展评分标准或直接对其给予奖励。在三种模型规模和 16 个基准上，RLVR$^2$ 始终优于具有代表性的基于评分标准的基线，在每个规模的大多数基准上取得最佳整体性能。分析表明，它在保持质量目标的同时，控制了与推理效率和响应格式相关的系统性效应。
| 评论： | 预印本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.23457 [cs.LG] |
| （或 arXiv:2609.23457v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.23457 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hao Li [查看邮箱]
[v1]
2026年9月20日星期日 08:34:28 UTC（2,132 KB）
[v2]
2026年10月9日星期五 10:31:18 UTC（5,400 KB）
来源：arXiv cs.AI · arxiv.org