arXiv cs.AI· Sami Nur Islam, Johan Obando-Ceron, Doina Precup, Aaron Courville, Pablo Samuel Castro·· 12 小时前AI 评分31
冻结而非克隆：不保留离线数据时用表达性策略微调
Freeze, Don't Clone: Fine-Tuning with Expressive Policies Without Retaining Offline Data
AI 导读
研究指出，离线数据不可用时继续在线行为克隆会迅速抹掉预训练先验，导致表征坍缩与动作多样性丧失，使 critic 缺乏有效探索。在七个 OGBench 域上，停止在线行为拟合、冻结预训练表达性先验，可显著改善 IFQL、FQL 与 QC 的无保留微调效果。该失败被归因于行为反馈循环，冻结先验可保留离线覆盖度并让价值学习持续驱动改进。
正文 · AI 翻译
摘要：离线到在线强化学习利用离线预训练来加速后续的在线学习。尽管许多方法假设离线数据集在整个微调过程中始终可用，但在许多场景下并非如此。先前的工作将这一场景中的失败主要归因于分布偏移下的评论家重新校准。我们识别出一个互补的演员侧失败：一旦离线数据消失，持续的行为克隆（BC）不再保留离线行为分布，而是将行为模型重新拟合到智能体有限的、非平稳的在线经验上。我们证明，在保留预训练的表达性先验的同时停止在线行为拟合，可在七个 OGBench 域上显著改善隐式流 Q 学习（IFQL）、流 Q 学习（FQL）和动作分块强化学习（QC）中的无保留微调。我们将这一失败追溯到一个行为反馈循环：持续进行在线行为克隆会迅速抹除预训练先验，导致表征崩溃和动作多样性丧失，从而使评论家缺乏有用的探索。冻结先验打破了这一循环，在保留离线覆盖的同时允许价值学习驱动持续改进。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36247 [cs.LG] |
| （或 arXiv:2610.36247v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36247 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Johan Obando-Ceron [查看电子邮件]
[v1]
2026年10月26日星期一 20:28:50 UTC（1,693 KB）
来源：arXiv cs.AI · arxiv.org