arXiv cs.AI· Shenghua Lu, Zixuan Yang, Rongxu Zhao, Bohao Qu, Jifeng Hu, Hechang Chen·· 3 天前AI 评分24
MeanFlow2Better：面向离线强化学习的一步潜空间流策略
From Suboptimal to Optimal: One-Step Latent Flow Policies for Offline Reinforcement Learning
AI 导读
针对扩散与流匹配策略需从高斯噪声出发、多步迭代生成动作的问题，研究者提出 MeanFlow2Better（MF2B），将离线强化学习重构为高层潜决策空间中的生成式决策块优化，通过共享条件平均速度场构建两条流映射，均以 Δt=1 的一步 ODE 积分完成决策精炼，无需多步采样或时间反向传播。
正文 · AI 翻译
摘要：离线强化学习旨在从固定数据集中学习有效策略，而无需与环境交互。尽管扩散模型和流匹配等生成模型增强了策略的表达能力，但它们通常从无信息的 Gaussian 噪声出发，通过多步迭代生成动作，导致计算成本高昂，且无法有效利用数据集中的次优轨迹。我们提出 MeanFlow2Better（MF2B），将离线 RL 重新表述为在高层次潜在决策空间中，从当前性能状态到更优性能状态的生成式决策块优化。MF2B 通过编码器将轨迹块映射为高层次潜在决策表示，将生成起点置于由行为数据塑造的结构化决策空间中。模型在该空间中学习共享的条件平均速度场，构建两个流映射：从 Gaussian 诱导的决策源指向正向行为决策区域，以及从次优决策指向高价值决策区域。两个流映射均通过在单位时间区间 $\Delta t=1$ 上的一步 ODE 积分完成决策细化，既不需要多步迭代采样，也不需要时间反向传播。此外，我们提出分层块级优势来引导流向高回报区域，其中高层次决策覆盖多个低层次动作，使序列长度从 $T$ 压缩到 $K \approx T/H$，并显著降低计算开销。在 D4RL Gym-MuJoCo 基准上，MF2B 取得平均分 90.91，匹配或超越强基线。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16984 [cs.LG] |
| （或 arXiv:2610.16984v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16984 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shenghua Lu [查看电子邮件]
[v1]
2026年10月12日星期一 15:41:40 UTC（1,368 KB）
来源：arXiv cs.AI · arxiv.org