arXiv cs.AI· Lindsay Spoor, Aske Plaat, Thomas Moerland·· 13 小时前AI 评分26
安全强化学习评测指标新框架与开源套件 SafeRLEval
Evaluation Metrics for Safe Reinforcement Learning
AI 导读
研究者提出一套安全强化学习评测指标与安全分级体系，指出仅报告"平均是否安全"不足以刻画算法真实安全性，无法反映安全约束被违反的频率与严重程度。基于多类安全导航任务的实证评估显示，聚合指标、分布化报告以及按任务和安全边界细分的结果各自揭示其他指标无法提供的信息，建议三者联合报告而非压缩为单一数值。团队同时开源评测套件 SafeRLEval。
正文 · AI 翻译
摘要：安全强化学习（RL）通常被形式化为约束马尔可夫决策过程（CMDP），其中智能体在使其期望累积成本保持在指定安全界限以下的同时最大化期望奖励。现有的安全 RL 基准主要依据这种基于期望的保证，报告算法在平均意义上是否安全。我们认为，这一惯例不足以可靠地刻画算法的真实安全性：它未能反映安全界限被违反的频率和严重程度、这种情况是否在不同任务和安全界限下一致成立，以及训练时的行为是否能代表最终收敛策略的行为。因此，我们引入了 (i) 安全 RL 的评估指标，以解决上述每一项关切，并且还允许跨任务和安全界限进行聚合。我们进一步定义了 (ii) 一个安全层级系统，以便在训练阶段和最终策略两方面，按安全性和可靠性对算法进行系统分类和比较。利用这一框架，我们提供了 (iii) 跨多个安全导航任务的实证安全评估。我们的结果表明，聚合指标、分布性报告以及针对具体任务和安全界限的结果各自揭示了其他指标无法揭示的信息。因此，我们建议将这三者联合报告，而不是像常见做法那样将这些信息压缩为单一数值。我们提供了 SafeRLEval，这是一个开源评估套件，用于支持在未来安全 RL 研究中可靠地刻画安全性。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.15315 [cs.AI] |
| （或使用 arXiv:2609.15315v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.15315 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lindsay Spoor [查看电子邮件]
[v1]
2026年9月14日星期一 10:04:22 UTC（1,381 KB）
[v2]
2026年10月29日星期四 15:11:46 UTC（1,406 KB）
来源：arXiv cs.AI · arxiv.org