arXiv cs.AI· Jaehun Shon, Jinha Choi, Jongwook Jeon, Jongmin Lee·· 13 小时前AI 评分22
OptiFlow：通过价值加权最优传输学习多模态一步流策略
Learning Multimodal One-step Flow Policy via Value-weighted Optimal Transport
AI 导读
OptiFlow 提出一种基于状态级熵最优传输的一步流策略学习框架，联合训练价值感知参考流策略与高效一步策略，避免直接最大化 critic 导致的模式坍塌和分布外高估。该方法以 critic 估值确定蒸馏目标动作优先级，并用动作距离成本保证几何兼容配对，在多个离线 RL benchmark 上有效捕捉最优多模态行为。论文已被 NeurIPS 2026 接收，代码已开源。
正文 · AI 翻译
摘要：离线强化学习旨在仅从固定数据集中学习策略，而这些数据集通常包含多模态动作分布。流策略能够自然地表示此类多模态行为，但学习高效的单步流策略仍然具有挑战性：标准的值引导往往会导致模式崩溃，或利用分布外区域中的高估偏差。为解决这一问题，我们提出了基于最优传输的单步流策略（OptiFlow），这是一个将单步流策略学习作为结构化样本分配问题的框架。OptiFlow 联合训练一个值感知的参考流策略和一个高效的单步策略，通过逐状态的熵最优传输耦合它们的动作样本。对于每个状态，评论家估计的值定义了蒸馏目标动作的优先级，而动作距离成本确保了几何上兼容的配对。通过避免直接最大化评论家，我们的传输引导方法将单步策略锚定到高价值、数据集支持的模态上，从而在分布内进行利用，而不会面临分布外发散的风险。实验结果表明，OptiFlow 有效捕捉了最优多模态行为，并在多种离线强化学习基准上取得了强劲性能。我们的代码可在 此 https URL 获取。
| 评论： | 已被 NeurIPS 2026 接收。38 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.15883 [cs.LG] |
| （或 arXiv:2609.15883v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.15883 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jaehun Shon [查看电子邮件]
[v1]
2026 年 9 月 14 日星期一 17:10:19 UTC（7,314 KB）
[v2]
2026 年 10 月 29 日星期四 12:05:32 UTC（7,314 KB）
来源：arXiv cs.AI · arxiv.org