arXiv cs.AI· Hao Wang, Jiuzhou Lei, Dayou Li, Bangya Liu, Minghui Zheng, Manling Li, Ruohan Zhang, Zhiwen Fan·· 3 天前AI 评分32
MoRE：将模式重定向蒸馏进策略权重，无需推理时引导的行为去克隆
Behavior Uncloning: Distilling Mode Redirection into Policy Weights without Inference-Time Steering
AI 导读
针对行为克隆策略从演示数据中学到不安全行为模式的问题，研究者提出 MoRE（Mode Redirection），通过短暂的"去克隆"步骤将临时模式分类器的重定向信号蒸馏进策略权重，配合 retain loss 保留目标模式能力，使独立策略以零推理时开销抑制不想要的行为模式。
正文 · AI 翻译
摘要：行为克隆策略往往会从演示数据集中学到多种行为模式，其中一些模式在部署时是不安全或不受欢迎的。例如，在多样化的交接演示上训练的策略可能会学会以刀刃朝前的方式递刀。诸如数据整理和推理时引导等标准补救措施，要么需要访问原始演示以进行完整重训练，要么会带来大量推理时开销。为弥补这一空白，我们提出 MoRE（Mode Redirection），它通过一个简短的“反克隆”步骤将策略 rollout 重定向到期望的行为模式。具体而言，MoRE 将来自临时模式分类器的重定向信号蒸馏到策略权重中以引导行为。保留损失通过保持期望模式的能力来平衡这一编辑，使独立策略能够在零推理时开销的情况下抑制不想要的模式。在八个仿真和真实世界任务中，MoRE 将平均部署成功率（SR）相比原始混合模式策略提高了 44 个百分点。在所有比较的适应和引导基线中，MoRE 取得了最高的 SR，并接近经过过滤数据重训练的参考方法，同时保持了任务能力和推理速度。MoRE 还泛化到不同的机器人策略骨干，包括 Diffusion Policy 和 Pi0.5 VLA、多样化的任务类别以及真实世界部署。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.29201 [cs.RO] |
| （或 arXiv:2606.29201v3 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.29201 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hao Wang [查看电子邮件]
[v1]
2026年6月28日星期日 05:01:27 UTC（10,845 KB）
[v2]
2026年10月4日星期日 01:23:22 UTC（10,856 KB）
[v3]
2026年10月10日星期六 05:41:13 UTC（10,845 KB）
来源：arXiv cs.AI · arxiv.org