arXiv cs.AI· Yeonbum Kim, Hyun Kyu Lee, Sung Whan Yoon·· 12 小时前AI 评分31
Flat-RLVR：面向 LLM 推理能力的锐度感知可验证奖励强化学习
Flat-RLVR: Sharpness-Aware Reinforcement Learning with Verifiable Rewards for Reasoning Capacity in LLMs
AI 导读
Flat-RLVR 通过锐度感知最小化在 LLM 后训练中寻找平坦奖励区域，以缓解 RLVR（尤其是 GRPO）带来的分布锐化问题。该方法在理论上将平坦奖励 RLVR 与分布锐化减弱相关联，实验显示在保持单次尝试准确率的同时提升了样本多样性，并与 GRPO 变体结合以权衡采样效率与推理能力。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR），尤其是通过组相对策略优化（GRPO），已成为大语言模型（LLM）后训练的核心范式。尽管 RLVR 在增强 LLM 推理能力方面非常有效，但它通常会引发\textit{分布锐化}，即策略分布变得过度尖峰，稀有但正确的轨迹被逐步抑制，从而降低样本多样性。为此，我们在 RLVR 中促进平坦奖励最优，以平滑策略分布。我们从理论上将平坦奖励 RLVR 与减少分布锐化联系起来，并在实证上表明样本多样性得到改善，同时保持单次尝试准确率。我们的方法称为 \texttt{Flat}-RLVR，在 LLM 后训练期间通过锐度感知最小化搜索平坦奖励区域，并将其与 GRPO 变体结合，以在采样效率和推理能力之间实现更好的权衡。
| 评论： | 9 页，8 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29281 [cs.LG] |
| （或 arXiv:2610.29281v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29281 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yeonbum Kim [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 06:35:19 UTC（644 KB）
来源：arXiv cs.AI · arxiv.org