逆概率缩放修正RL结果级模式坍缩

Abhijeet Sinha、Sundari Elango 和 Dianbo Liu 提出逆概率缩放方法，用于修复强化学习中的结果级模式坍缩，并将其实现为 GRPO 的即插即用改动 IPS-GRPO。 作者称，结果级模式坍缩是期望回报目标本身的结构性后果：在理想学习动态下，任意两个结果的 log 概率比会随奖励差线性演化，导致指数级分化，与探索策略、熵正则和优化算法无关。逆概率缩放的做法是去除期望中的概率乘子，作者称可证明得到与奖励成比例的终端分布。 IPS-GRPO 无需辅助模型或架构改动。作者报告称，在推理与分子生成任务上，它持续减少模式坍缩，性能持平或更优。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。