Residual Advantage：面向可验证奖励 RL 的学生相对教师引导方法

查看 PDF HTML（实验性）

摘要：带可验证奖励的强化学习（RLVR）和同策略蒸馏（OPD）已成为后训练推理模型的两大主要范式。RLVR 为每个回答赋予单一的结果标签，使其内部的各个步骤没有单独的信用分配。OPD 在学生访问过的前缀处提供 token 级指导，但其逐点信号并不能直接反映师生在整个词表上分歧的模式。稠密、无界的对数比监督会放大教师的影响，然而当学生的解题路径偏离教师时，一个强大的求解器未必是合适的引导者。我们提出残差优势（\RA{}），它将师生概率残差视为有界的一步奖励，减去学生策略下对应的状态价值以形成标准优势，并在每个回答内对结果进行中心化后再加到验证器优势上。该引导项在每个回答内均值为零，因此验证器优势仍为该回答的平均标签，教师只在其内部各步骤之间重新分配信用。\CoRA{} 进一步在同一批已打分的学生数据上用验证器优势更新教师 LoRA，并在下一次迭代的残差中使用更新后的教师，使指导适应学生的尝试。以 Qwen3-1.7B-Base 和 Qwen3-4B-Base 为学生、Qwen3-8B 为教师，\RA{} 与 GRPO 或 REINFORCE++ 结合，在三个数学基准上的全部 24 项比较中均改进了底层的序列优势算法，将宏观 Avg@8 提升 1.7--3.6 分，Pass@8 提升 3.9--6.3 分。两种组合均超越了仅用教师的 OPD，而 \CoRA{} 又额外带来 1.0--1.5 的 Avg@8 提升。

学科：	计算与语言（cs.CL）
引用为：	arXiv:2610.11519 [cs.CL]
	（或 arXiv:2610.11519v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.11519 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Xiaobing Chen [查看邮箱]
[v1] 2026年10月8日星期四 08:52:55 UTC（570 KB）