arXiv cs.AI· Changxu Ni, Feiran You, Yongan Guo, Hongyang Du, Kang Wei, Le Liang, Yiyang Ni, Jun Li·· 12 小时前AI 评分24
CORMA：面向可泛化多约束离线安全强化学习的约束路由决策 Mamba
CORMA: Constraint-Routed Decision Mamba for Generalizable Multi-Constraint Offline Safe Reinforcement Learning
AI 导读
CORMA 是一个约束路由决策 Mamba 框架，用于可泛化的多约束离线安全强化学习，将策略推理拆分为约束感知的 RTG 估计与自适应动作生成。它用约束专属专家建模可行 RTG 分布，并通过路由引导的专家乘积机制为 Mamba 动作解码器提供安全感知引导。在 OSRL 基准上，CORMA 取得更优的奖励-安全权衡，相比 DT 类方法推理延迟降低 37%，对未见安全预算组合的零样本泛化更强。
正文 · AI 翻译
摘要：离线安全强化学习（RL）从静态数据集中学习安全感知策略，同时在部署期间满足安全约束。受 Transformer 强大的轨迹建模能力启发，近期基于决策 Transformer（DT）的方法将离线安全 RL 表述为条件序列建模，通过以 return-to-go（RTG）和 cost-to-go（CTG）token 为条件生成动作，从而能够适应不同的安全预算。然而，现有的基于 DT 的方法是为单约束任务开发的。对于具有多个约束的任务，由于异构约束带来的相互冲突的要求，将学习到的策略泛化到未见过的安全预算组合仍然具有挑战性。此外，Transformer 架构的二次复杂度显著增加了多约束任务中的计算开销，因为表示额外约束需要更多的 CTG token。最近，Mamba 作为一种高效的序列建模骨干出现，提供线性计算复杂度和强大的泛化能力。在本文中，我们提出 CORMA，一种用于可泛化多约束离线安全 RL 的约束路由决策 Mamba 框架。CORMA 将策略推理分解为约束感知的 RTG 估计和自适应动作生成，其中约束特定专家建模可行的 RTG 分布，路由引导的专家乘积机制融合这些分布，为基于 Mamba 的动作解码器提供安全感知指导。设计了三阶段优化策略以提高训练稳定性。在 OSRL 基准上的大量实验表明，CORMA 实现了更优的奖励-安全权衡，与基于 DT 的方法相比将推理延迟降低了 37%，并且对未见过的安全预算组合表现出比离线安全 RL 基线更强的零样本泛化能力。
| 评论： | 30页，6张图，会议 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34208 [cs.LG] |
| （或 arXiv:2610.34208v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34208 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Changxu Ni [查看邮箱]
[v1]
2026年10月25日星期日 10:54:34 UTC（1,261 KB）
来源：arXiv cs.AI · arxiv.org