arXiv cs.AI· Sebastian Sanokowski, Alireza Sarmadi, Majid Khadiv·· 11 小时前AI 评分24
FERPO：前向熵正则化策略优化
FERPO: Forward Entropy-Regularized Policy Optimization
AI 导读
FERPO 是一种 on-policy 最大熵强化学习算法，不通过对 critic 求动作梯度来改进策略，而是从熵与 KL 正则化的策略改进目标推导最优目标动作分布，再用自归一化重要性采样（SNIS）估计的前向 KL 目标拟合 actor。在 MuJoCo Playground 和 ManiSkill 上实验显示其性能有竞争力并提升样本效率，actor 更新速度也快于 REPPO。
正文 · AI 翻译
摘要：若干用于连续控制中在线强化学习的最先进方法，通过利用学习到的 critic 的动作梯度来改进策略。然而，critic 通常被训练用于预测回报，而准确的价值预测并不必然产生准确的动作导数，这可能导致策略更新不可靠。我们提出前向熵正则化策略优化（FERPO），这是一种同策略最大熵强化学习算法，它利用 critic 值进行策略改进，而不对 critic 关于动作求导。FERPO 从由熵和 Kullback-Leibler（KL）散度正则化的策略改进目标中推导出最优目标动作分布。然后，我们通过最小化前向 KL 目标来将 actor 拟合到该目标，该目标使用自归一化重要性采样（SNIS）并以从 rollout 策略中采样的动作进行估计。通过限制目标分布与 rollout 策略的偏差，KL 正则化有助于使这些重要性权重保持良好行为。与可能偏向目标分布部分模态的反向 KL 目标相比，前向 KL 目标鼓励覆盖多个高价值模态，从而促进探索。在 MuJoCo Playground 和 ManiSkill 上的实验与消融实验显示出有竞争力的性能和样本效率提升。计算基准还表明，actor 更新比相对熵路径式策略优化（REPPO）更快。
| 评论： | v2：添加了引用和相关工作的讨论。代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器人学（cs.RO）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.02198 [cs.LG] |
| （或 arXiv:2610.02198v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.02198 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sebastian Sanokowski [查看电子邮件]
[v1]
2026年10月1日星期四 17:59:41 UTC（774 KB）
[v2]
2026年10月20日星期二 07:51:25 UTC（775 KB）
来源：arXiv cs.AI · arxiv.org