arXiv cs.AI· Joonyoung Lim, Younghwan Yoo·· 11 小时前AI 评分29
用大规模并行加速安全强化学习
Accelerating Safe Reinforcement Learning with Massive Parallelism
AI 导读
针对大规模并行训练中短 rollout 与 CMDP 全回合成本约束不匹配的问题，研究者将错峰环境重置建模为短轨迹片段上的相位混合分布，并提出相位聚合成本估计器，从短 rollout 批次重建回合级成本估计。
正文 · AI 翻译
摘要：我们研究将安全强化学习（safe RL）扩展到大规模并行训练机制的问题，其中大量环境以较短的 rollout 时域执行。尽管这种设置提高了数据吞吐量和实际耗时效率，但它与约束马尔可夫决策过程（CMDP）产生了不匹配，后者的安全约束定义在完整回合的成本回报上。我们通过将交错的环境重置分析为短轨迹片段上的相位混合分布来解决这一不匹配。该分析刻画了相位覆盖所引入的偏差，并促发了一种相位聚合成本估计器，它从短 rollout 批次中重建回合级成本估计。我们进一步将有限样本不确定性和分布不匹配纳入约束收紧框架，从而得到一种可扩展的、与同策略优化兼容的安全强化学习方法。使用基于 MJX 的 Safety Gym 实现，我们的实验表明，所提方法达到了与非大规模并行实现相当的性能，同时大幅减少了实际训练时间。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.08273 [cs.LG] |
| （或 arXiv:2611.08273v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08273 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Joonyoung Lim [查看邮箱]
[v1]
2026年11月5日星期四 16:43:57 UTC（1,450 KB）
来源：arXiv cs.AI · arxiv.org