arXiv cs.AI· Guhyeon Kang, Minhae Kwon·· 10 天前AI 评分22
VAN-Flow：面向稀疏长时程环境的方差规避 n 步离线强化学习
Variance-Averse $n$-Step Offline Reinforcement Learning for Sparse Long-Horizon Environments
AI 导读
研究者提出 VAN-Flow（Variance-Averse n-step Flow），一种面向生成式离线强化学习的框架，通过类别分布式 critic、方差规避期望算子与拒绝采样引导的流匹配生成 actor，在 D4RL 和 OGBench 的 40 多个任务上持续优于强基线，在长时程、高方差场景中提升最大。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：生成式智能体正在通过支持能够建模复杂动作分布的富有表现力的策略类，改变离线强化学习（RL）。然而，这种表现力也暴露了异构数据集中的一个关键挑战：生成式策略可能复现不可靠的动作模式，其回报分布表现出高方差，偶尔会因偶然因素产生高回报，但缺乏一致性。因此，仅最大化期望 $Q$ 值不足以识别可靠的动作。我们提出 VAN-Flow（方差规避 $n$ 步流），一个在生成式离线 RL 中促进可靠动作的框架。VAN-Flow 结合了 (i) 分类分布评论家，(ii) 方差规避期望算子，该算子平滑地重新加权原子概率，以偏好同时具有高回报和低离散度的动作，以及 (iii) 通过拒绝采样引导的流匹配生成式演员。与 CVaR 或均值-方差目标不同，该算子在分类回报分布上重新分配概率质量，而不进行硬截断或引入辅助惩罚项。在来自 D4RL 和 OGBench 的 40 多个任务中，VAN-Flow 始终优于强基线，在长时程和高方差场景中收益最大，此时可靠的动作选择变得至关重要。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.07899 [cs.LG] |
| （或 arXiv:2610.07899v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07899 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Guhyeon Kang [查看电子邮件]
[v1]
2026年10月6日星期二 07:47:26 UTC（1,480 KB）
来源：arXiv cs.AI · arxiv.org