arXiv cs.AI· Zeqiao Li, Yijing Wang, Haoyu Wang, Zheng Li, Zhiqiang Zuo·· 3 天前AI 评分21
PA-BFM：面向分布式 Critic 的后验平均 Bellman 流匹配
Posterior-Averaged Bellman Flow Matching for Distributional Critics
AI 导读
针对流式 Critic 依赖含噪单端点 Bellman 监督的问题，研究者提出后验平均 Bellman 流匹配（PA-BFM），通过采样端点池并推断潜在锚点的闭式后验，回归后验均值速度。
正文 · AI 翻译
摘要：分布式评论家对完整回报分布进行建模，为探索和风险敏感控制提供更丰富的信号。近期工作表明，基于流的评论家可以灵活地对这些分布建模，并在流时间上为时序差分学习提供有效监督。然而，与具有固定数据端点的标准流匹配不同，流评论家是在由学习到的目标评论家在当前策略下递归生成的贝尔曼目标上训练的。因此，现有目标要么使用带噪的单端点监督，要么依赖学习到的流本身提供额外指导。我们的关键观察是，中间桥接状态可能与多个贝尔曼端点兼容，因此其速度应在相应后验下对这些端点的方向取平均。我们提出后验平均贝尔曼流匹配（PA-BFM），它采样一个端点池，推断潜在锚点上的闭式后验，并回归到后验均值速度。均匀锚点选择使该目标成为单端点目标的精确有限池 Rao--Blackwellization：对于每个 \(K\)，它保持总体目标不变，不会增加条件方差，且其条件方差按 \(O(K^{-1})\) 缩放。端点池支持保守更新，而双回报流提供评论家分歧和未支持质量诊断。受控研究表明，PA-BFM 将固定查询目标均方误差降低 \(79.7\%\)，将目标诱导的梯度方差最多降低 \(98.0\%\)，同时提高回报分布保真度。在 50 个 OGBench 任务和四个离线到在线场景中，PA-BFM 的总体性能高于 Value Flows。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17788 [cs.LG] |
| （或 arXiv:2610.17788v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17788 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zeqiao Li [查看电子邮件]
[v1]
2026年10月13日星期二 06:16:40 UTC（1,163 KB）
来源：arXiv cs.AI · arxiv.org