arXiv cs.AI· Manan Tayal, Mumuksh Tayal, Ravi Prakash·· 14 小时前AI 评分26
EpiFlow：用上图引导的流匹配兼顾离线强化学习的安全与性能
EpiFlow: Bridging Safety and Performance in Offline Reinforcement Learning via Epigraph-Guided Flow Matching
AI 导读
EpiFlow 将安全离线强化学习建模为带硬状态约束的最优控制问题，通过学习上图可行性价值函数并用流匹配提取策略来近似 HJB 方程。在 boat navigation、Safety-Gymnasium 和 Bullet-Safety-Gym 等安全关键基准上，该方法取得有竞争力的回报，同时约束违反接近零。论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：离线强化学习（RL）为在安全关键场景中部署自主系统提供了一个有前景的框架，且无需承担在线探索的风险。然而，从固定数据集中学习同时实现高性能和强安全保障的策略仍然是一个根本性挑战。许多现有的安全离线 RL 方法通常依赖于软约束公式，这可能允许安全违规，并且对分布偏移敏感。相比之下，Hamilton--Jacobi（HJ）可达性和控制障碍函数（CBFs）等形式化方法提供了严格的安全保证，但往往产生过于保守的解决方案，常常忽视性能。在这项工作中，我们通过将安全离线 RL 表述为状态约束最优控制问题来弥合这一差距，其中安全性通过硬状态约束来强制执行，性能通过奖励函数来体现。所得的值函数满足 Hamilton--Jacobi--Bellman（HJB）方程，我们通过在固定数据集上进行离线 RL 来近似该方程，方法是学习一个上境图可行性值函数，并通过流匹配提取策略。这种表述使得安全保证与数据驱动的策略优化能够有原则地整合。在包括船只导航、Safety-Gymnasium 和 Bullet-Safety-Gym 任务在内的安全关键基准上，我们的方法在实现具有竞争力的回报的同时表现出接近零的约束违规，展示了离线设置下安全与性能之间的良好平衡。
| 评论： | 27 页，10 幅图，前两位作者贡献相同。论文已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.08054 [cs.LG] |
| （或 arXiv:2602.08054v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.08054 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Manan Tayal [查看电子邮件]
[v1]
2026 年 2 月 8 日星期日 16:56:21 UTC（3,086 KB）
[v2]
2026 年 10 月 26 日星期一 11:57:00 UTC（3,374 KB）
来源：arXiv cs.AI · arxiv.org