arXiv cs.AI· Minjae Kwon, Amir Moeini, Shangtong Zhang, Lu Feng·· 4 小时前AI 评分31
Latent Q-Barrier Shielding:面向安全上下文强化学习的部署期动作过滤方法
Latent Q-Barrier Shielding for Safe In-Context Reinforcement Learning
AI 导读
研究者提出 Latent Q-Barrier shield,在部署前学习上下文表示、潜在动力学与集成成本评论家,部署时无需参数更新即可依据剩余预算和预测未来成本过滤或软重加权候选动作。
正文 · AI 翻译
摘要:安全上下文强化学习(ICRL)能够根据交互历史进行在线自适应,无需在测试时更新参数,同时在安全预算内控制回合成本。在分布外(OOD)部署偏移下,仅依赖预训练的安全 ICRL 可能产生较差的奖励-安全权衡,因为剩余预算仅通过冻结的策略条件化影响行为,而非通过针对预测未来成本的显式动作级检查。我们提出一种潜在 Q-Barrier 屏蔽器,在部署前学习上下文表示、潜在动力学和集成成本评论家。无需参数更新,该屏蔽器从历史中推断上下文,并利用剩余预算和预测的未来成本对候选动作进行过滤或软重加权。我们证明了在已实现候选集上的条件单步屏障边际界,并给出显式的贝尔曼和潜在预测误差项。在五个安全 ICRL 基准上,该屏蔽器相比强安全 ICRL 基线改善了部署时的奖励-安全权衡:在短上下文窗口后,它在五个基准中的四个上获得更高回报,同时在全部五个基准上匹配或降低平均回合成本。代码可在 此 https URL 获取。
| 评论: | 已被 NeurIPS 2026 接收。Camera-ready 版本 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2605.25267 [cs.LG] |
| (或 arXiv:2605.25267v2 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.25267 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Minjae Kwon [查看电子邮件]
[v1]
2026年5月24日星期日 21:45:28 UTC(355 KB)
[v2]
2026年11月16日星期一 21:56:38 UTC(337 KB)
来源:arXiv cs.AI · arxiv.org