arXiv cs.AI· Zeyuan Wang, Da Li, Yulin Chen, Yuehu Gong, Yanming Guo, Liang Bai, Tianyuan Yu, Yanwei Fu·· 6 天前AI 评分22
Stochastic MeanFlow Policies：一步生成式控制的熵镜像下降方法
Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent
AI 导读
研究者提出 Stochastic MeanFlow Policies（SMFP），一种一步生成式策略类，将 MeanFlow 噪声到动作映射与高斯重参数化结合，用可学习的条件高斯尺度提供解析熵下界，实现熵正则化镜像下降学习。在七个 MuJoCo 基准上，SMFP 以单步推理取得优于高斯与生成式基线的表现，并在稀疏奖励导航中展现出多模态动作建模与有效探索能力。
正文 · AI 翻译
摘要：在在线离策略强化学习中，将熵正则化与镜像下降相结合，需要具有高效采样和显式熵控制能力的表达能力强的策略。高斯策略难以表示多模态目标，而生成式策略通常需要迭代采样或缺乏可处理的熵估计。我们提出随机均值流策略（SMFP），这是一种一步生成式策略类，将基于 MeanFlow 的噪声到动作映射与高斯重参数化相结合。潜在映射捕捉多样的动作模式，而可学习的条件高斯尺度提供了解析熵下界。我们利用该下界来调节随机性，并结合直接价值引导和优势加权 MeanFlow 回归，从而以一步策略实现熵正则化镜像下降学习。在七个 MuJoCo 基准上，SMFP 在单步推理下相较于高斯和生成式基线取得了强劲性能。额外实验展示了多模态动作建模以及在稀疏奖励导航中的有效探索。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.21282 [cs.LG] |
| （或使用 arXiv:2605.21282v3 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.21282 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Zeyuan Wang [查看邮箱]
[v1]
2026年5月20日星期三 15:14:14 UTC（638 KB）
[v2]
2026年5月21日星期四 06:09:02 UTC（638 KB）
[v3]
2026年10月9日星期五 02:37:42 UTC（716 KB）
来源：arXiv cs.AI · arxiv.org