arXiv cs.CL· Yifan Zhang·· 10 天前AI 评分22
KLPO：以采样器为锚的 KL 正则化策略优化框架
On KL-Regularized Policy Optimization
AI 导读
研究者提出 KL-Regularized Policy Optimization（KLPO），将 KL 正则项锚定在采样器上，使正则化改进步骤具有闭式 Gibbs 解，并通过对采样器自身轨迹做最小二乘拟合 log-ratio 最优性条件，无需重要性权重。
正文 · AI 翻译
摘要：面向大语言模型（LLM）智能体的异步强化学习（RL）会在由另一个策略生成的轨迹上训练一个策略：rollout 来自过期的检查点，且即使参数完全相同，推理引擎的概率也与训练器不同。标准补救措施要么裁剪重要性比率，这会使更新产生偏差；要么如 GRPO 那样，对每个提示采样一组回复，当回合较长时代价高昂。我们提出 KL 正则化策略优化（KLPO），一个将 KL 正则项锚定在采样器处的框架。此时正则化改进步骤具有闭式 Gibbs 解，且 KLPO 在采样器自身的轨迹上通过最小二乘拟合其对数比率最优性条件，因此采样器概率以对数比率的形式进入，无需重要性权重。通过剖析回归截距，将难以处理的配分函数对数替换为信号的采样器均值加上采样器到训练器的 KL 散度。对于 token 级策略镜像下降目标，我们证明所得梯度可以仅由终端回报计算，无需 critic，通过以采样器为中心的得分或单个轨迹残差实现，即使在随机工具输出下也是如此。我们进一步证明 KL 项的独立蒙特卡洛估计使这些梯度保持无偏，推导出更廉价 top-$K$ 和二元近似的精确 KL 差距，并表明 SPPO、GPO、REBEL 和 BPO 都是 KLPO 的特例。其结果是无需 critic 的更新，每个提示仅使用一次 rollout，且既不需要学习到的归一化器，也不需要一组回复。
| 评论： | 项目主页：this https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.08963 [cs.LG] |
| （或 arXiv:2610.08963v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08963 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yifan Zhang [查看邮箱]
[v1]
2026年10月6日星期二 18:30:42 UTC（60 KB）
来源：arXiv cs.CL · arxiv.org