arXiv cs.AI· Abhijeet Sinha, Sundari Elango, Dianbo Liu·· 11 小时前AI 评分38
期望回报导致强化学习结果级模式坍缩，逆概率缩放可修复
Expected Return Causes Outcome-Level Mode Collapse in Reinforcement Learning and How to Fix It with Inverse Probability Scaling
AI 导读
研究发现结果级模式坍缩是期望回报目标本身的结构性后果：理想学习动态下，任意两个结果的 log 概率比随奖励差线性演化，导致指数级分化，与探索策略、熵正则和优化算法无关。作者提出逆概率缩放，去除期望中的概率乘子，可证明得到与奖励成比例的终端分布。将其落地为 GRPO 的即插即用改动 IPS-GRPO，无需辅助模型或架构改动，在推理与分子生成任务上持续减少模式坍缩且性能持平或更优。
正文 · AI 翻译
摘要：许多强化学习（RL）问题允许多个质量相当的终端解，其目标不是找出单一最优解，而是表示一组多样化的高质量结果。然而，通过标准期望回报最大化训练的策略通常会坍缩到结果的一小部分子集上，这一现象通常被归因于探索不足或正则化较弱。我们表明这种解释并不完整：结果层面的模式坍缩是期望回报目标本身的结构性后果。在理想化学习动态下，任意两个结果之间的对数概率比随其奖励差线性演化，这意味着指数级的比率发散和不可避免的坍缩，与探索策略、熵正则化或优化算法无关。我们将这一病态的根源确定为期望内部的概率乘子，并提出一种最小修正：逆概率缩放，它从学习信号中移除结果频率放大效应，从根本上改变学习动态，并可证明地产生与奖励成比例的终端分布，从而在多模态设置中防止坍缩。我们在组相对策略优化（GRPO）中将这一原理实例化为即插即用的修改 IPS-GRPO，无需辅助模型或架构更改。在不同的推理和分子生成任务中，IPS-GRPO 持续减少结果层面的模式坍缩，同时匹配或超过基线性能，这表明修正目标而非添加探索启发式是可靠的多模态策略优化的关键。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.21669 [cs.LG] |
| （或 arXiv:2601.21669v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.21669 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 第 43 届国际机器学习大会（ICML 2026）论文集，机器学习研究论文集，第 306 卷，第 113750-113765 页，2026 年 |
提交历史
来自：Abhijeet Sinha [查看电子邮件]
[v1]
2026 年 1 月 29 日星期四 13:03:33 UTC（3,186 KB）
[v2]
2026 年 10 月 20 日星期二 03:12:50 UTC（292 KB）
来源：arXiv cs.AI · arxiv.org