arXiv cs.AI· Jongchan Park, Hyukjun Yang, Narim Jeong, Donghwan Lee·· 10 小时前AI 评分31
AL-LBLP：用增广拉格朗日方法求解 Lifted Bellman 线性规划
An Augmented Lagrangian Approach to Lifted Bellman Linear Programming
AI 导读
研究将 Lifted Bellman Linear Programming（LBLP）的固定系数铰链惩罚改为乘子法求解，系数由对偶上升学习，仅保留一个惩罚参数 ρ，凸情形下不动点即 LBLP 的 KKT 对。
正文 · AI 翻译
摘要：时序差分评论家回归到自举目标上，通常需要一个目标网络。Lifted Bellman Linear Programming（LBLP）则把离线 RL 的样本内最优值表达为数据集上一个线性规划的解。其神经求解器 ALBUM 将约束松弛为带固定系数的铰链惩罚，其保证是对预先选定系数的条件。我们用乘子法求解同一规划：系数变为通过对偶上升学习到的乘子，只有一个惩罚参数 $\rho$。在凸情形下，不动点即 LBLP 的 KKT 对，并且在每个驻点处，所施加的约束权重恰好平衡目标。该评论家可服务于高斯演员、流演员和 best-of-N 采样，对于高斯演员我们提出一种优势归一化的 DDPG+BC 目标。仅使用单个 $Q$ 和 $V$ 且无目标网络，我们的 AL-LBLP 配合 best-of-N 在 50 个基于状态的 OGBench 任务上达到 60.1\% 的平均成功率。在长时程任务上，它在 humanoidmaze-giant 上达到 81.5%，在 antmaze-giant 上达到 79.8%。在批大小高达 8192 时它不会崩溃。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.14183 [cs.AI] |
| （或 arXiv:2611.14183v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14183 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jongchan Park [查看邮箱]
[v1]
2026年11月10日星期二 15:05:22 UTC（132 KB）
来源：arXiv cs.AI · arxiv.org