arXiv cs.AI· Shayan Mohajer Hamidi, Kayhan Behdin, Wenhui Zhu, Aida Rahmattalabi, Jincheng Cao, Jelena Markovic-Voronov, Alborz Geramifard·· 3 天前AI 评分22
TETPO：通过桥式重要性采样实现平滑方差控制的目标 ESS 温度策略优化
Target-ESS Tempered Policy Optimization (TETPO): Smooth Variance Control via Bridge Importance Sampling
AI 导读
针对大语言模型异步强化学习后训练中重要性权重重尾导致有效样本量（ESS）崩溃的问题，研究者提出 Target-ESS Tempered Policy Optimization（TETPO），用数据自适应指数 α 将每个重要性权重 ρ 替换为 ρ^α，并按提示组选取满足目标 ESS 比例 κ 的最大 α。
正文 · AI 翻译
摘要：大语言模型的异步强化学习后训练在计算上高效，但本质上是离策略的：学习器基于由陈旧策略生成的轨迹进行更新，而纠正这种不匹配需要重要性权重，这些权重可能具有极重的尾部。少数轨迹可能因此主导一次更新，使有效样本量（ESS）崩溃，并增加所得梯度估计的方差和不稳定性。现有稳定器无论权重集中的实际严重程度如何都施加固定干预，要么丢弃选定样本，要么在不调整校正强度的情况下对其重新加权。我们提出\emph{目标--ESS 退火策略优化}（TETPO），它将每个重要性权重 $\rho$ 替换为 $\rho^\alpha$，其中 $\alpha\in[0,1]$ 是数据自适应指数：$\alpha=1$ 保留原始重要性权重，而 $\alpha=0$ 则赋予均匀系数。对于每个提示组，TETPO 选择使退火权重满足目标 ESS 比例 $\kappa$ 的最大 $\alpha$，对健康组施加较小退火，而在权重退化严重时施加更强退火。在总体层面，退火系数是采样器策略与学习器策略之间几何桥的精确重要性权重。该指数通过一维二分法高效求得，同时所得权重满足归一化权重离散度和加权梯度范数的确定性界，这些界与策略漂移无关，并给出固定 $\alpha$ 下桥目标差异的界。幂退火也不引入显式的零权重掩码。在高陈旧度的数学推理基准上，TETPO 优于强大的同策略和离策略基线。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14440 [cs.LG] |
| （或 arXiv:2610.14440v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14440 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shayan Mohajer Hamidi [查看电子邮件]
[v1]
2026年10月10日星期六 01:15:04 UTC（447 KB）
来源：arXiv cs.AI · arxiv.org