arXiv cs.AI· Nabuat Zaman Nahim, Fairoz Nower Khan, Peizhong Ju·· 3 天前AI 评分22
强化学习中的流匹配综述
A Survey of Flow Matching in Reinforcement Learning
AI 导读
一篇发表于 TMLR 2026 的 52 页综述系统梳理了强化学习中的流匹配（Flow Matching）方法。该综述沿两个维度组织文献：所建模的目标分布（动作策略、价值评论家、转移动态）与 RL 信号的整合机制（能量加权回归、基于流的策略梯度、组相对策略优化），并对比了高斯与扩散基线，覆盖离散及非欧几里得动作空间等前沿方向。
正文 · AI 翻译
摘要：Flow Matching（FM）近来作为一种有原则且高效的强化学习（RL）生成建模框架而崭露头角，通过确定性概率传输实现富有表现力的多模态策略参数化。与依赖随机去噪链的基于扩散的策略相比，FM 使用基于常微分方程（ODE）的采样，并学习速度场，这可以大幅降低推理延迟并简化 RL 目标的整合。随着基于流的 RL 研究在离线连续控制、在线微调和基础模型对齐等领域迅速加速，相关文献已变得高度碎片化。在本综述中，我们提供了强化学习中流匹配方法的全面分类体系。我们沿两个维度组织文献：所建模的目标分布（例如动作策略、价值评论家、转移动态）以及 RL 信号整合机制（例如能量加权回归、基于流的策略梯度和组相对策略优化）。此外，我们调研了离散和非欧几里得动作空间等新兴前沿方向，提供了与高斯和扩散基线的系统比较分析，并概述了关键开放问题。最终，本综述为下一代生成式强化学习与对齐提供了基础性路线图。
| 评论： | 52 页。发表于 Transactions on Machine Learning Research (TMLR)，2026 年。Survey Certification。在 OpenReview 上评审：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16275 [cs.LG] |
| （或 arXiv:2610.16275v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16275 arXiv 颁发的 DOI 经由 DataCite（待注册） |
|
| 期刊 参考： | Transactions on Machine Learning Research，2026 年 |
提交历史
来自：Nabuat Zaman Nahim [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 06:55:17 UTC（93 KB）
来源：arXiv cs.AI · arxiv.org