arXiv cs.AI· Congzhong Sun, Ning Tan·· 3 天前AI 评分31
PrT-Flow：面向强化学习的概率可计算流匹配
PrT-Flow: Probability-Tractable Flow Matching for Reinforcement Learning
AI 导读
PrT-Flow 是一种概率可计算的流匹配方法，在保留多模态、多步动作生成的同时计算概率密度。其 Jacobian-Tractable Transformer（JTT）使每个采样步骤可逆，配合 Conditional Euler-step Training（CET）训练，并证明 CET 与拟合 Flow Matching 的 Euler 求解器更新具有相同极小值点。
正文 · AI 翻译
摘要：扩散模型和流匹配可以表示机器人动作上的灵活分布，但许多强化学习算法还需要每个动作的概率。我们提出 PrT-Flow（概率可处理的流匹配），它在保留多模态、多步动作生成的同时计算概率密度。其雅可比可处理的 Transformer（JTT）使每个采样步骤可逆，并能高效计算其雅可比行列式。我们使用条件欧拉步训练（CET）来训练这些有限步骤，它在采样过程中监督一步内的位移，而非瞬时速度。我们证明，在一定假设下，CET 与拟合流匹配的欧拉求解器更新具有相同的最小值点。PrT-Flow 在 Robomimic Lift 上经过 300 个 epoch 的模仿学习后达到 96% 的成功率，与扩散策略参考持平，并在 OGBench Cube-Triple 上经过 60 万在线步后达到 96% 的成功率。这些结果表明，具有可处理概率密度的可逆网络可以学习有效的机器人策略，并支持 SAC 风格的 actor-critic 训练。我们的代码可在 此 https URL 获取。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17667 [cs.RO] |
| （或 arXiv:2610.17667v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17667 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Congzhong Sun [查看电子邮件]
[v1]
2026年10月13日星期二 03:51:30 UTC（378 KB）
来源：arXiv cs.AI · arxiv.org