arXiv cs.AI· Saeed Hedayatian, Harsh Shah, Celine Mneimneh, Stefanos Nikolaidis·· 12 小时前AI 评分24
RePPO：用排斥性种群策略梯度实现行为多样的强化学习
Repulsive Population Policy Gradients for Behaviorally Diverse Reinforcement Learning
AI 导读
研究者提出 RePPO（Repulsive Population Policy Optimization），将 PPO 改造为用依赖种群、动态塑形的奖励联合优化一小组多样且高质量的策略，在标准连续控制任务上取得优于现有 QD-RL 方法的质量-多样性权衡。在基于像素的任务中，RePPO 在保持与标准 PPO 相当质量的同时多样性显著更高，并首次将 QD-RL 方法成功扩展到大型语言模型微调。
正文 · AI 翻译
摘要：质量-多样性强化学习（QD-RL）的目标是找到一组高性能策略，以多样化的方式解决决策问题。尽管近期取得了进展，QD-RL 方法主要依赖进化算子——包括黑盒优化器、变异和交叉——来促进探索并诱导多样性。随着策略和行为空间不断增大，扩展这些方法的成本越来越高。基于质量-多样性优化的 Soft QD 视角，我们提出 \textbf{Re}pulsive \textbf{P}opulation \textbf{P}olicy \textbf{O}ptimization（\textbf{RePPO}），它改造 PPO，使用依赖于种群、动态塑造的奖励来联合优化一个紧凑的多样化高质量策略种群。在标准连续控制任务上，与最先进的 QD-RL 方法相比，RePPO 实现了强有力的质量-多样性权衡。消融实验通过考察每个组件如何影响个体质量和集体多样性，进一步刻画了这一权衡。为评估 RePPO 的可扩展性，我们将评估扩展到从像素学习和微调大语言模型。在基于像素的任务中，大策略使大多数传统 QD-RL 方法不可行，而 RePPO 在保持与标准 PPO 相当的质量的同时，实现了显著更高的多样性。其在语言模型微调上的成功应用进一步首次证明，QD-RL 方法可以扩展到这一领域。总之，这些结果表明，使用 RePPO 直接优化紧凑种群为跨日益复杂领域的 QD-RL 提供了一种可扩展的方法。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36425 [cs.LG] |
| （或 arXiv:2610.36425v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36425 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Saeed Hedayatian [查看电子邮件]
[v1]
2026年10月27日星期二 00:16:33 UTC（9,130 KB）
来源：arXiv cs.AI · arxiv.org