arXiv cs.AI· Fairoz Nower Khan, Nabuat Zaman Nahim, Peizhong Ju·· 3 天前AI 评分22
DRIFT：面向离线到在线强化学习的离散流匹配方法
Discrete Flow Matching for Offline-to-Online Reinforcement Learning
AI 导读
研究者提出 DRIFT，一种用优势加权离散流匹配损失更新离线预训练连续时间马尔可夫链（CTMC）策略的在线微调方法，并通过路径空间惩罚正则化完整 CTMC 轨迹分布以保留预训练知识。
正文 · AI 翻译
摘要：许多强化学习（RL）任务具有离散动作空间，但大多数基于扩散和流匹配的生成式策略方法都是为连续控制设计的。同时，生成式策略通常严重依赖离线数据集，而从离线到在线的 RL 本身就很困难，因为策略必须从新的交互中改进，同时不丢失从静态数据中学到的有用行为。为应对这些挑战，我们提出了 DRIFT，一种在线微调方法，它使用优势加权的离散流匹配损失来更新离线预训练的连续时间马尔可夫链（CTMC）策略。为保留有用的预训练知识，我们添加了一个路径空间惩罚，它对完整的 CTMC 轨迹分布进行正则化，而不仅仅是最终动作分布。对于大型离散动作空间，我们引入了一种候选集近似方法，它在从参考策略轨迹和均匀探索中采样得到的一小部分动作子集上更新 actor。我们的理论分析表明，专注于一小组高概率动作可以在保持近似误差很小的同时减少计算量，从而使我们的方法适用于大型动作空间。我们在宏动作 MinAtar 游戏上进行评估，离线预训练的 DRIFT 在所有五款游戏中都优于仅在线训练的对应方法，并在其中三款上取得了最高平均回报；在无 oracle 的 Jericho 上，DRIFT 使用轻量级 GRU 编码器取得了 7.3\% 的平均归一化分数，优于所评估的预训练语言模型基线。消融实验证明了适当加权的路径空间正则化和参考引导的候选构造的重要性。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.12379 [cs.LG] |
| （或此版本的 arXiv:2605.12379v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.12379 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Fairoz Nower Khan [查看电子邮件]
[v1]
2026年5月12日星期二 16:44:02 UTC（162 KB）
[v2]
2026年10月12日星期一 06:23:00 UTC（122 KB）
来源：arXiv cs.AI · arxiv.org