梯度对齐奖励能否让监督变成同策略？Baseten 用 Qwen3-8B 实测

Baseten Base Labs：模型研究·2026-11-14 08:24· 30 分钟前AI 评分41

梯度对齐能否让监督变为 on-policy？

AI 导读

Baseten Base Labs 探讨梯度对齐奖励能否在保留专家示范作为学习信号的同时，对学生自身采样做梯度更新。该方法把学生 rollout 与专家示范的 log-likelihood 梯度做余弦相似度打分，并给出仅需两次标准反向传播的高效实现。实验在四数字 Countdown 上用 Qwen3-8B 进行，专家 rollout 由 Opus 5.5 生成。

正文 · 原文

图 1

梯度对齐奖励提供了一种有趣的方式，可将教师信息以 on-policy 方式传递给学生，但仍会遇到标准蒸馏的许多挑战。

引言

在对模型进行后训练时，我们可以将方法大致分为两个维度：梯度来自哪里，以及学习信号来自哪里。用这一视角审视经典后训练，监督微调（SFT）或对给定示范集做下一 token 预测，其梯度和学习信号都来自这些“专家”示范。相比之下，RL 从学生自身的样本中获取梯度，再从奖励中获取学习信号。两种方法各有其用途，也存在明显的权衡：

1. SFT 可以直接向模型注入更多信息（通过数据或教师），但往往会侵蚀基础能力。

2. RL 可以在保持基础能力的同时实现学习，但受限于 (a) 模型已经能够可行解决的问题，以及 (b) 可靠的奖励结构。

这一背景引出一个自然的问题：是否可能保留专家示范作为学习信号的来源，同时仍然在学生样本上取梯度？这需要一个可由任意数据集或教师模型定义的奖励函数，理论上既能提供 on-policy RL 的优势，又能具备 SFT 的通用性。上周我们探索了 OPSD，另一种号称两全其美的算法，但我们发现其偏差仍可能表现得更像 SFT 并改变模型行为（文章链接）。本周，为了更接近标准 on-policy RL，我们将注意力转向一个密切相关的近亲：梯度对齐奖励。

梯度对齐奖励

梯度对齐奖励 [1, 2, 3, 4, 5, 6, 7] 最近被重新提出，作为一种用专家示范为学生 rollout 打分的方法。其做法是通过 log-likelihood 梯度将学生 rollout 和专家示范转换为相同形状。

设 qθ 为学生模型，x 为提示，y⋆ 为专家示范。定义专家和学生 rollout 梯度为

gθ⋆=∇θlog⁡qθ(y⋆∣x),gθ(y)=∇θlog⁡qθ(y∣x),y∼qθ(⋅∣x).

然后我们赋予奖励

rθ(x,y,y⋆)=⟨gθ(y),gθ⋆⟩∥gθ(y)∥ ∥gθ⋆∥

并在任一范数接近零时进行数值稳定处理。

gb:=gθ(yb),rb:=rθ(x,yb,y⋆),Δθ=η∇θ[1B∑b=1Bstopgrad⁡(rb)log⁡qθ(yb∣x)]=ηB∑b=1Brbgb.

我们可以从几个角度看待这个奖励。一种是从梯度结构出发的几何视角：写出完整梯度更新时，我们得到专家梯度在各个 rollout 梯度上的投影的加权和：

Δθ=ηB∥gθ⋆∥∑b=1Bgbgb⊤∥gb∥ gθ⋆=ηB∥gθ⋆∥∑b=1B∥gb∥ proj⁡span⁡{gb}(gθ⋆).

我们也可以从统计的角度来看待这一点，使用隐式损失函数近似。注意，对于小步长 η，我们得到以下泰勒近似：

log⁡qθ+ηgθ⋆(y∣x)qθ(y∣x)≈η⟨gθ(y),gθ⋆⟩,

右侧是我们的（未归一化的）梯度对齐奖励，左侧是自蒸馏风格的似然比 [8, 9]，但不是将专家示例放入上下文中，而是朝着提高专家示例似然的方向迈出一小步梯度。后一种解释开始凸显我们最终看到的一些行为：即，这种奖励仍然可能像 SFT 一样，显著地偏向专家示例的确切措辞。

大规模计算奖励

上述存在一个重要的瓶颈，使得朴素实现的计算不可行：具体化每个批次元素的梯度，而这些梯度在标准反向传播中通常是求和在一起的。这导致这种对齐奖励被近似或截断；例如，仅考虑输出层 [4, 7]。然而，使用一些张量技巧和线性性质，我们实际上可以相当高效地计算完整奖励：实际上只需两次标准反向传播！由于这纯粹是在训练器侧（而 rollout 通常是计算瓶颈），这在实践中几乎不增加开销。

为了说明，我们手动推导一个线性层 W，并只关注内积 ⟨gθ(y),gθ⋆⟩；其他层类型和所需的批次梯度范数类似。

设 W 有 din 个输入维度和 dout 个输出维度，用 b=1,…,B 索引 rollout 序列，用 t=1,…,T 索引 token。对于序列 b，Ab 是 T-by-din 的输入激活矩阵，Db 是 log⁡qθ(yb∣x) 关于层输出的导数的 T-by-dout 矩阵；单个权重梯度 gb 和通常的批次求和权重梯度为：

gb=∇Wlog⁡qθ(yb∣x)=Db⊤Ab,∇W∑b=1Blog⁡qθ(yb∣x)=∑b=1BDb⊤Ab.

普通反向传播会收缩 token 和批次轴，留下一个由输入和输出特征索引的矩阵。然而，根据线性性质，我们可以先收缩特征维度，最后收缩 token，从而每个序列留下一个标量：

⟨gb,gθ⋆⟩F=⟨Db⊤Ab,gθ⋆⟩F=⟨Db,Ab(gθ⋆)⊤⟩F=∑t=1T⟨Db[t,:], (Ab(gθ⋆)⊤)[t,:]⟩.

存储 gθ⋆ 需要一个权重大小的矩阵，因此包括其计算在内，总时间和层存储具有与基础反向传播相同的渐近边界，仅有常数因子开销：

Normal backpropagationGradient alignment scoresTimeO(BTdindout)O(BTdindout)SpaceO ⁣(dindout+BT(din+dout))O ⁣(dindout+BT(din+dout))

然后，这些对齐分数被用于计算最终梯度，用于第二次标准反向传播，该过程将每个输入梯度批次元素按现已计算出的余弦相似度进行缩放。

模型仍然会过拟合吗？

所有实验均在四数字 Countdown 上进行，使用 Qwen3-8B 作为基础模型，以测试在存在可验证奖励的环境中专家提供奖励的有效性。专家 rollout 由 Opus 5.5 生成。

在更大规模训练之前，我们首先使用单个提示和演示测试一个玩具示例。首先，我们询问在梯度对齐奖励上进行 RL 是否能够拟合。其次，我们询问它是否会像 SFT 那样对确切措辞过拟合。正如泰勒近似解释所暗示的，我们预计它会如此。

在探究这些问题时，我们看到 (a) 准确率在 100 次更新内升至 100%，因此奖励是一致的，我们可以学习；(b) 到第 100 次更新时，所有 64 个样本完全相同（逐字复现专家解）（图 1）。

optimizing gradient alignment rewards over a single prompt and expert demonstration. There is an initial learning phase where the model picks up on the expert pattern, but eventually overfits so that all rollouts match the expert wording exactly. — 图 2

图 1：在单个提示和专家演示上优化梯度对齐奖励。存在一个初始学习阶段，模型捕捉到专家模式，但最终过拟合，使得所有 rollout 与专家措辞完全一致。

这里的直觉是，“奖励”在对专家演示进行单步 SFT 后，针对学生模型对每个 rollout 进行评分，这意味着我们预期演示的措辞会在奖励中体现出来。

那么梯度对齐信号有多大用处？

我们知道我们能够在这个信号上进行训练，但它与实际环境奖励的对齐程度如何？虽然我们不期望这是无噪声且完全相关的，但我们希望数值正确的答案对应更高的梯度对齐奖励。不幸的是，如图 2 所示，这种分离相当小。

distribution of gradient alignments, shown separately for correct and incorrect answers. Curves are kernel density estimates with Gaussian kernels (not fitted Gaussians). Notably, both distributions look fairly Gaussian, have similar means, with the correct responses having slightly higher variance. — 图 3

图 2：梯度对齐的分布，分别显示正确和错误答案。曲线是使用高斯核的核密度估计（非拟合高斯分布）。值得注意的是，两个分布看起来都相当高斯，均值相似，正确响应的方差略高。

虽然两个分布在变化上可辨别（因此更高的梯度对齐阈值将具有更高的正确比率），但初始奖励结构使得该奖励本身难以起步。剩下的问题是，它是否能在标准 RL 运行之上提供任何有意义的信号，而标准基线无法提供。

梯度对齐奖励的训练效果如何？

虽然与验证奖励的初始相关性相当小，但我们知道这些奖励是可训练的，并希望在整个训练过程中，梯度对齐奖励能变得越来越有用。

为此，我们在较小的 Countdown 子集上比较以下方法：

1. 纯粹使用来自专家轨迹的梯度对齐奖励。如图 2 所示，仅此奖励噪声太大，无法在底层环境上取得可靠收益。

2. 梯度对齐与验证奖励结合，这是更常见的用例。一种方法是仅在验证奖励提供很少或没有信号时依赖梯度对齐奖励：

ri={cos⁡(gi,gexpert),k<2,1[rollout i is correct],k≥2.

其中 k 是大小为 8 的组中正确 rollout 的数量。这带来了一些提升，但被以下方法超越：

3. 使用已验证奖励的标准 GRPO（超参数与最佳梯度对齐运行相匹配），鉴于其能够获得真实奖励，这并不令人意外，最后：

4. 对同策略 rollout 施加 KL 惩罚的 SFT。正如从几何解释中所预期的，梯度对齐奖励仍可能表现得像 SFT 迭代，而让 SFT 步骤不受约束可以带来更轻松的优化。

结果均展示在下面的表 1 中：

方法	验证准确率	正确 / 256
基础模型（更新 0）	3.9%	10
纯梯度对齐	3.5%	9
梯度对齐 + 已验证奖励	10.9%	28
仅已验证奖励	23.4%	60
SFT + KL 惩罚	20.3%	52

表 1：在 Countdown 子集上的训练结果。评估来自 256 个留出提示。

结语

梯度对齐提供了一种在训练学生生成的回复时使用专家演示的方法。它的奖励随学生变化，并允许算法完全基于学生的 rollout 进行训练，为将知识灌输到学生模型中的同策略方法提供了前景。

然而，这种特定的奖励 (a) 仍然可能对特定示例过拟合，并且 (b) 是对正确性的噪声估计，可能难以训练。值得注意的是，该奖励强烈依赖于参数，使得模型能够以更强的方式对其进行攻击。这些结果是初步的，我们在此不对梯度对齐奖励及其效用做出任何强有力的断言，但正如我们喜欢说的：伟大的想法通常更容易实现。

参考文献

1. M. Ren 等。Learning to Reweight Examples for Robust Deep Learning。PMLR 80:4334–4343，2018。

2. S. Müller、A. Biedenkapp 和 F. Hutter。In-Loop Meta-Learning with Gradient-Alignment Reward。arXiv:2102.03275，2021。

3. S. Li 等。LearnAlign: Data Selection for LLM Reinforcement Learning with Improved Gradient Alignment。arXiv:2506.11480，2025。

4. Z. Liang 等。Can LLMs Guide Their Own Exploration? Gradient-Guided Reinforcement Learning for LLM Reasoning。arXiv:2512.15687，2025。

5. Z. Zhang 等。Grad2Reward: From Sparse Judgment to Dense Rewards for Improving Open-Ended LLM Reasoning。arXiv:2602.01791，2026。

6. N. Yang 等。GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning。arXiv:2602.21492，2026。

7. L. Zheng 等。Gradients Know What Outcomes Don't: Unlocking Reinforcement Learning for LLM Reasoning with Gradient-Aligned Rewards。arXiv:2609.03342，2026。

8. S. Zhao 等。Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models。arXiv:2601.18734，2026。

9. I. Shenfeld 等。Self-Distillation Enables Continual Learning。arXiv:2601.19897，2026。

来源：Baseten Base Labs：模型研究 · labs.baseten.co