arXiv cs.AI· Pei-Xi Xie, Che-Yu Lin, Cheng-Lin Yang·· 3 天前AI 评分22
通过分布对齐提示合成与反向提示退火缓解数学 RLVR 中的分布锐化
Mitigating Distribution Sharpening in Math RLVR via Distribution-Aligned Hint Synthesis and Backward Hint Annealing
AI 导读
针对 RLVR 中难题采样组全错导致无有效更新、进而引发分布锐化的问题，研究者提出分布对齐提示合成（DAHS）与反向提示退火（BHA）两个组件。
正文 · AI 翻译
摘要：在带可验证奖励的强化学习（RLVR）中，那些采样组始终一致错误的困难数学题不会产生有信息量的更新，从而使较容易的题目主导 actor 更新。这种不平衡可能导致分布锐化：低 $k$ 准确率提升，而问题覆盖范围收缩。提示脚手架可以通过揭示已验证教师解的前缀来恢复有信息量的更新。然而，现有的基于提示的方法仍面临两个问题：教师—学生分布不匹配，以及需要减少提示暴露以匹配无提示评估。我们通过两个组件解决这些问题。分布对齐提示合成（DAHS）以学生风格的回答为条件构建经过验证的教师提示。反向提示退火（BHA）随着各长度桶准确率的提升，在各长度桶上对提示暴露进行退火。BHA 还使用逐问题提示丢弃，以在整个 RL 训练过程中保留无提示 rollout。在 DAPO 训练框架下，我们的方法在 Qwen3-1.7B-Base 和 Qwen3-4B-Base 上，在 AIME24/25/26 上相比 DAPO 同时提升了 pass@1 和 pass@2048，并在五个次级数学基准（Olympiad、MATH500、Minerva Math、AMC23 和 GSM8K）上提升了 pass@1。在 Llama-3.2-1B-Instruct 上，增益集中在高 $k$ 区间，但未能恢复基础模型的覆盖范围。总体而言，在可获得已验证教师前缀时，DAHS+BHA 在所评估的困难数学 RLVR 设置中缓解了 DAPO 引起的高 $k$ 问题覆盖范围收缩。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2604.07747 [cs.AI] |
| （或 arXiv:2604.07747v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.07747 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Pei-Xi Xie [查看电子邮件]
[v1]
2026年4月9日星期四 03:08:41 UTC（806 KB）
[v2]
2026年10月12日星期一 08:25:32 UTC（1,127 KB）
来源：arXiv cs.AI · arxiv.org