arXiv cs.AI· Zhenghong Ke, Jingbo Zhou, Hua Wu·· 13 小时前AI 评分31
SCARL：序列置信度对齐的强化学习
SCARL: Sequence Confidence-Aligned Reinforcement Learning
AI 导读
研究者提出 SCARL（序列置信度对齐强化学习），通过按组内相对置信度与结果的对齐差距重新缩放优势值，解决 RLVR 中策略置信度与奖励脱节的问题。在 Qwen3-4B-Base 上，其平均 Pass@32 较 DAPO 提升 2.4 分，在九种同等算力方法中覆盖率与单次采样准确率均最优。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）通过基于规则的验证器对采样响应打分，并对通过验证的响应进行强化，从而提升语言模型的推理能力。在分类器的训练中，预测概率与标签相互耦合，而 RLVR 策略对某个响应的置信度与其奖励之间却没有任何关联：对齐的训练会驱使具有相同优势的响应趋向相同的置信度，然而优势对置信度却是盲的。在这种序列-置信度错位下，策略勉强找到的成功与几乎确定能产生的成功获得相同的更新，而一个自信的错误也不会比一个探索性的错误被更用力地纠正。我们提出 SCARL（序列置信度对齐强化学习），它利用响应的组相对置信度与其优势所认证的结果之间的对齐差距，对每个优势进行重塑（但从不重新赋予符号），并将其归一化为各类别优势预算的份额。错位的样本吸收力度，具有相同优势的响应被驱使趋向相同的置信度，而修复这种错位同时也成为对侵蚀探索的熵坍缩的一种补救。可证明，当某一类别的置信度一致时，SCARL 会退化为其基础估计器，且不增加额外的计算轮次，只增加一个超参数。在 Qwen3-4B-Base 上，它比 DAPO 将平均 Pass@32 提升了 2.4 个百分点，并在覆盖率和单次抽样准确率上均位列九种计算量匹配方法之首；原样应用于四种估计器和四种骨干模型，它在 16 种设置中的 14 种上取得提升，同时保持策略熵并扩大置信度与正确性之间的分离度。我们的代码可在 此 https URL 获取。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40407 [cs.LG] |
| （或 arXiv:2610.40407v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.40407 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Zhenghong Ke [查看邮箱]
[v1]
2026年10月29日 星期四 16:38:11 UTC（173 KB）
来源：arXiv cs.AI · arxiv.org