arXiv cs.AI· Yuan Zhuang, Yuexin Bian, Sihong He, Jie Feng, Qing Su, Songyang Han, Jonathan Petit, Shihao Ji, Yuanyuan Shi, Fei Miao·· 13 小时前AI 评分27
用LoRA做结构正则：离策略强化学习中的Critic学习新方法
Low-Rank Adaptation for Critic Learning in Off-Policy Reinforcement Learning
AI 导读
研究者提出用LoRA作为critic学习的结构正则化手段：冻结随机初始化的基础矩阵，只优化低秩适配器，将权重变化约束为低秩残差。在SAC+SimbaV2、BRC（DMC-Hard）与FastTD3及其SimbaV2变体（IsaacLab）上评测，LoRA降低了训练中的critic损失，多数任务取得最佳或具竞争力表现。该工作入选NeurIPS 2026。
正文 · AI 翻译
摘要：扩大评论家容量是提升离策略强化学习（RL）的一个有前景的方向。然而，近期工作表明，在基于回放的引导式训练中，更大的评论家容易过拟合且不稳定。本文提出使用低秩适应（LoRA）作为从零开始学习评论家的结构正则化器。我们的方法冻结随机初始化的基础矩阵，仅优化相应的低秩适配器，从而将学习到的权重变化约束为低秩残差。我们在基于状态的连续控制任务上评估了该方法：在 DMC-Hard 上使用 SAC 搭配 SimbaV2 和 BRC，在 IsaacLab 上使用 FastTD3 及其 SimbaV2 变体。实验表明，LoRA 降低了训练过程中的评论家损失并提升了整体策略性能，在大多数任务上取得最佳或具有竞争力的结果。大量实验表明，我们的低秩更新为离策略 RL 中的评论家学习提供了一种简单而有效的结构正则化形式。
| 评论： | 2026 年神经信息处理系统大会（NeurIPS 2026） |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.18978 [cs.LG] |
| （或 arXiv:2604.18978v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.18978 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuan Zhuang [查看邮箱]
[v1]
2026 年 4 月 21 日星期二 01:59:54 UTC（4,126 KB）
[v2]
2026 年 5 月 7 日星期四 15:47:31 UTC（2,855 KB）
[v3]
2026 年 10 月 29 日星期四 16:01:54 UTC（2,888 KB）
来源：arXiv cs.AI · arxiv.org