arXiv cs.CL· Junxing Hu, Zicheng Zhang, Zhiqian Zhang, Ai Han, Yifeng Zhang, Pengzhang Liu, Ling Li·· 12 小时前AI 评分31
Info-GRPO：用相关性感知探索解决长推理链训练中的策略崩溃
Correlation-Aware Exploration for Long-Trace Reasoning
AI 导读
针对 GRPO 训练长链推理模型易发生策略崩溃的问题，研究者提出 Info-GRPO，通过潜变量与轨迹间的互信息引导探索，让多样性贯穿整条推理链而非依赖逐 token 随机性。在 AIME24 上，该方法在四个骨干模型上分别将 Avg@8 较 GRPO 提升 3.75%、1.66%、4.16%、4.17%，并以 8 倍更少样本达到相同多数投票准确率。代码与模型将公开。
正文 · AI 翻译
摘要：使用组相对策略优化（GRPO）训练的推理模型如今能生成长达数千 token 的思维链，而近期研究表明此类训练容易发生策略崩溃。熵正则化是标准补救手段，但其原理是将概率质量从承载概率的少数 token 推向词汇表中大量低概率的长尾，并且对推理轨迹的每个 token 都施加一次该作用力。这使该奖励项与收敛所需的熵衰减直接冲突，也使其系数在长轨迹情形下难以设定。为化解这一矛盾，我们提出 Info-GRPO，一个信息论框架，用于培养策略与潜在先验之间的相关性。Info-GRPO 并非处处提高熵，而是建立在潜在变量与其诱导轨迹之间的互信息之上：训练时用潜在种子增强提示，使模型能够探索与先验相关的多样策略，同时使以种子为条件的熵被引导趋向收敛。因此，多样性贯穿整条推理轨迹，而非依赖逐 token 的随机性，探索也不再与熵的降低相冲突。实验表明，Info-GRPO 在多种推理基准上优于原始 GRPO 和熵正则化 GRPO。在 AIME24 上，它在四个骨干模型上分别将 $Avg@8$ 较 GRPO 提升 3.75%、1.66%、4.16% 和 4.17%，并以 $8\times$ 更少的样本达到相同的多数投票准确率。代码与模型将公开发布。
| 评论： | 28 页，6 幅图。已被 NeurIPS 2026 长上下文基础模型研讨会（LCFM）接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34949 [cs.LG] |
| （或 arXiv:2610.34949v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34949 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Junxing Hu [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 07:19:00 UTC（7,330 KB）
来源：arXiv cs.CL · arxiv.org