arXiv cs.AI· Boyang Xu, Qing Zou, Siqin Yang, Hao Yan·· 12 小时前AI 评分26
Path-Coupled Bellman Flows：用路径耦合流匹配改进分布式强化学习
Path-Coupled Bellman Flows for Distributional Reinforcement Learning
AI 导读
研究者提出 Path-Coupled Bellman Flows（PCBF），一种用流匹配学习回报分布的连续时间分布式强化学习（DRL）方法，通过源一致的 Bellman 耦合路径解决流源边界不匹配与自举高方差问题。
正文 · AI 翻译
摘要：分布式强化学习（DRL）对完整回报分布进行建模，但现有的有限支撑或基于分位数的方法依赖投影，而近期基于流的方法可能在流源处遭遇\emph{边界失配}，或在当前噪声与后继噪声相互独立时遭遇\emph{高方差}自举。我们提出路径耦合贝尔曼流（PCBF），一种连续时间 DRL 方法，它使用\textbf{源一致的贝尔曼耦合路径}通过流匹配学习回报分布：当前路径从 $t{=}0$ 处所需的基础先验出发，在 $t{=}1$ 处到达贝尔曼目标，并在中间时刻与后继流保持逐路径的仿射关系（不要求时间 $t$ 的边缘分布对所有 $t$ 都满足分布式贝尔曼不动点）。PCBF 通过共享基础噪声将当前与后继回报流耦合，并使用 $\lambda$ 参数化的控制变量目标：$\lambda{=}0$ 恢复无偏的样本贝尔曼目标，而 $\lambda{>}0$ 以受控偏差换取方差降低。在可解析处理的 MRP、OGBench 和 D4RL 上的实验表明，其分布保真度和训练稳定性有所提升，离线 RL 性能具有竞争力。
| 评论： | 被第 43 届国际机器学习大会（ICML 2026）接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| ACM 分类： | I.2.6 |
| 引用为： | arXiv:2605.08253 [cs.LG] |
| （或本版本的 arXiv:2605.08253v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2605.08253 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 第 43 届国际机器学习大会论文集，韩国首尔。PMLR 306，2026 |
提交历史
来自：Hao Yan [查看邮箱]
[v1]
2026 年 5 月 7 日星期四 19:05:01 UTC（8,030 KB）
[v2]
2026 年 6 月 3 日星期三 21:28:18 UTC（8,056 KB）
[v3]
2026 年 10 月 20 日星期二 18:03:55 UTC（8,062 KB）
来源：arXiv cs.AI · arxiv.org