arXiv cs.AI· Naman Saxena, Vaneet Aggarwal·· 1 天前AI 评分18
约束双层强化学习：通过近似下层响应实现
Constrained Bilevel Reinforcement Learning via Approximate Lower-Level Responses
AI 导读
针对下层为约束马尔可夫决策过程、解映射可能多值且非 Lipschitz 的双层强化学习问题，提出将上层目标定义为固定随机下层算法返回策略的期望损失（近似响应），从而无需下层解唯一性。
正文 · AI 翻译
摘要：我们研究约束双层强化学习，其中下层问题是一个具有一般参数化策略的约束马尔可夫决策过程。下层解映射可以是集值的，且不必在上层变量上满足 Lipschitz 连续性，因此标准的超梯度分析不适用。为此，我们将上层目标定义为固定随机下层算法所返回策略的期望上层损失，我们称之为近似响应。该目标在下层解不唯一时仍有良好定义。为计算其梯度，我们在不改变均值的前提下，对下层训练中使用的奖励和约束值进行随机化，使得上层变量仅通过已知概率影响训练。由此得到上层目标梯度的无偏估计，且无需对下层更新进行求导。我们建立下层奖励与可行性保证、上层平稳性，以及跨越两层的总样本复杂度 $\widetilde{\mathcal{O}}(\delta_\ell^{-6}\epsilon_o^{-2})$，其中 $\delta_\ell$ 为下层精度，$\epsilon_o$ 为上层平稳性误差。令 $\delta_\ell=\epsilon_o=\epsilon$ 可得 $\widetilde{\mathcal{O}}(\epsilon^{-8})$。
| 学科： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2602.00282 [cs.LG] |
| （或 arXiv:2602.00282v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.00282 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Naman Saxena [查看邮箱]
[v1]
2026年1月30日星期五 20:10:21 UTC (51 KB)
[v2]
2026年11月12日星期四 02:54:10 UTC (83 KB)
来源：arXiv cs.AI · arxiv.org