arXiv cs.AI· Yonghoon Dong, Kyungmin Lee, Changyeon Kim, Jaehyuk Kim, Jinwoo Shin·· 9 天前AI 评分24
TRQAM：基于信任域 Q Adjoint Matching 的稳定离线强化学习微调
Trust Region Q Adjoint Matching
AI 导读
针对 QAM 中 critic 误差被指数放大导致性能崩溃的问题，研究者提出 TRQAM，通过在流策略采样过程中引入信任域参数 λ 并证明其精确加权 SOC 目标中的路径空间 KL，实现对预训练策略偏离的严格控制。
正文 · AI 翻译
摘要：预训练流策略的离策略强化学习仍然具有挑战性，因为多步采样过程会导致优化不稳定。最近，带伴随匹配的 Q 学习（QAM）通过将策略改进重新表述为由学习到的评论家引导的随机最优控制（SOC）问题来解决这一问题。然而，QAM 继承了评论家引导改进的一个根本脆弱性，因为微小的评论家误差可能被指数级放大，并常常导致性能崩溃。本文提出了信赖域 Q 伴随匹配（TRQAM），一种稳定的离策略微调算法，通过投影对偶下降自适应地控制微调策略与预训练策略之间的路径空间 KL。具体而言，我们在流策略的采样过程中引入信赖域参数 $\lambda$，并证明 $\lambda$ 恰好对 SOC 目标中的路径空间 KL 进行加权。因此，我们的方法可以在规定的 KL 预算内严格控制与预训练策略的偏差，实现稳定的离策略强化学习。通过在 50 个 OGBench 任务上的实验，TRQAM 在离线强化学习和离线到在线强化学习中均持续优于先前方法。特别是，TRQAM 在离线强化学习中实现了 68% 的总体成功率，大幅优于最强基线 46%。
| 评论： | NeurIPS 2026。代码：此 https URL，博客：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2605.27079 [cs.LG] |
| （或 arXiv:2605.27079v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.27079 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Yonghoon Dong [查看电子邮件]
[v1]
2026年5月26日星期二 14:28:43 UTC（1,193 KB）
[v2]
2026年10月8日星期四 08:52:10 UTC（1,205 KB）
来源：arXiv cs.AI · arxiv.org