arXiv cs.AI· Hieu Tran, Hong Yu·· 12 小时前AI 评分31
ArcFlow：为多种求解器预算训练流策略
ArcFlow: Training Flow Policies for Multiple Solver Budgets
AI 导读
ArcFlow 是一种面向部署的流匹配策略训练算法，让单一策略在指定范围的多个求解器预算下都能工作。在 DM Control、操作与运动任务中，ArcFlow 在 30 个任务里的 25 个上取得五种流策略基线中最高的平均单步回报。方法结合动作对齐监督、预算暴露与最差预算检查点选择，且不改变模型架构与部署成本。
正文 · AI 翻译
摘要：流匹配策略通过求解器步数来调整推理成本，但在单一固定求解器预算下进行强化学习，可能会掩盖在更低成本部署预算下的性能退化，甚至会抹去预训练策略中已有的有用单步行为。我们提出 Action-Ratio-Clip Flow（ArcFlow），这是一种部署感知算法，用于在指定的求解器预算范围内训练单一流策略。ArcFlow 结合了动作对齐监督、预算暴露和最差预算检查点选择。对于重建目标，其桥接机制将时间探针聚合为一个代理比率和每个动作一个 PPO 风格裁剪，其边界残差恰好等于部署时的单步重建误差。循环机制将共享场暴露给部署范围，而选择机制则优化其性能下限。对于原生速度目标，多预算端点监督在不替换原生更新的情况下应用相同原则。两种实现均保持架构和部署时成本不变。在 DM Control、操作和运动任务中，在每种方法报告的训练设置下，ArcFlow 在 30 个任务中的 25 个上取得了五种流策略基线中最高的平均单步回报。组件研究识别出边界监督、固定网格桥接、预算暴露和部署选择带来的互补改进。这些结果确立了部署预算感知训练作为实现强低步控制的有效途径，且单一策略可服务多种推理成本。
| 评论： | 19 页，4 幅图，4 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28788 [cs.LG] |
| （或 arXiv:2610.28788v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28788 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hieu Tran [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 18:18:42 UTC（1,065 KB）
来源：arXiv cs.AI · arxiv.org