arXiv cs.AI· Chenxi Li, Yao Shu, Siyang Gao, Shuang Qiu, Guangxin Jiang·· 13 小时前AI 评分26
安全多目标强化学习：零约束违反与原始平均收敛
Safe Multi-Objective Reinforcement Learning: Zero Constraint Violation and Primal-Averaging Convergence
AI 导读
研究提出安全多目标强化学习算法，结合乐观奖励估计与悲观成本上界，使T个回合内执行的每个策略以高概率实现零约束违反，并在平滑Tchebycheff标量化下达到Õ(1/√T)的次优间隙。进一步给出无需预设偏好的算法，先安全探索再对任意偏好规划，保持相同安全保证并达到Õ(1/√T+1/√K)次优间隙。这是首批对每个执行策略都保证安全的样本高效MORL算法。
正文 · AI 翻译
摘要：多目标强化学习（MORL）的许多应用需要能够在满足安全约束的同时平衡相互冲突目标的策略。我们研究在整个学习过程中零约束违反的安全 MORL，涵盖累积约束和逐步约束。一个关键挑战是在未知动态和约束成本下进行充分探索而不违反约束。对于给定的目标偏好，我们开发了一种算法，通过将乐观奖励估计与悲观成本界相结合来学习安全的帕累托最优策略。以高概率，在 $T$ 个回合中执行的每个策略都产生零约束违反。该算法返回由平均占用测度诱导的安全马尔可夫策略，并在平滑 Tchebycheff 标量化下达到 $\widetilde{O}(1/\sqrt{T})$ 的次优性差距。我们进一步开发了一种无偏好算法，该算法首先在没有预先指定偏好的情况下进行安全探索，然后为任何给定偏好计算安全策略而无需进一步交互。在 $T$ 个探索回合和 $K$ 次规划迭代中，它保持相同的安全保证并达到 $\widetilde{O}(1/\sqrt{T}+1/\sqrt{K})$ 的次优性差距。两种算法都需要知道一个严格满足约束的策略及其成本。然后我们放宽这些要求，最多产生常数累积违反。据我们所知，我们提供了第一个保证每个执行策略安全的样本高效 MORL 算法。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；优化与控制（math.OC）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.39409 [cs.LG] |
| （或 arXiv:2610.39409v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.39409 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guangxin Jiang [查看电子邮件]
[v1]
2026年10月29日星期四 05:47:57 UTC（57 KB）
来源：arXiv cs.AI · arxiv.org