arXiv cs.AI· Peng Cheng, Yunxian Hou, Zhi Zhou, Qian Zhang, Chang Huang, Xianyuan Zhan·· 9 天前AI 评分22
高阶动作监督让策略类更强：一种即插即用的离线 RL 损失方案
Higher-Order Action Supervision Makes A Strong Policy Class
AI 导读
研究者提出一种新的损失方案，可同时监督零阶与一阶动作，让任意现成策略模型（确定性、随机或 flow 策略）无需结构改动即可获得高阶动作监督能力。该方法可作为轻量即插即用模块接入多种现有离线 RL 框架，在 OGBench 和 D4RL 上显著提升连续控制任务的性能与鲁棒性，并在低数据场景下增强 OOD 泛化能力。论文已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：现代数据驱动决策方法，如模仿学习（IL）和强化学习（RL），在解决许多复杂任务方面取得了巨大成功。然而，这些方法在机器人、自动驾驶等现实应用中往往面临严重的控制不稳定性和鲁棒性问题，给其实际部署带来了显著挑战。我们认为，这种不稳定性问题在很大程度上源于它们仅对零阶动作（即动作标签）进行监督和优化的局限性，未能考虑高阶动作动力学和时间一致性。在本文中，我们表明，同时监督零阶和一阶动作可以显著提升策略的性能和控制鲁棒性。为实现这一点，我们引入了一种新颖而优雅的损失方案，并配有正式的理论保证，能够使任何现成的策略模型（例如确定性、随机性或流策略）具备高阶动作监督能力，而无需任何结构修改。此外，我们提出的方法可以作为一个轻量级即插即用模块，无缝集成到广泛的现有离线 RL 框架中。在 OGBench 和 D4RL 上的大量评估表明，我们的方法在广泛的连续控制环境中带来了显著的性能和鲁棒性提升。值得注意的是，我们的方法还可以在具有挑战性的低数据场景中增强策略的分布外（OOD）泛化能力，使其成为解决许多现实世界控制问题的理想工具。
| 评论： | 34 页，7 幅图。已被 NeurIPS 2026 接收 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11175 [cs.RO] |
| （或 arXiv:2610.11175v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11175 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Peng Cheng [查看电子邮件]
[v1]
2026年10月8日星期四 03:32:42 UTC（8,592 KB）
来源：arXiv cs.AI · arxiv.org