arXiv cs.AI· Yuanchu Liang, Yue Yang, An-Chi He, Hanna Kurniawati·· 11 小时前AI 评分31
LARBRID：用潜在噪声表示桥接实现高效扩散策略微调
Efficient Diffusion Policy Fine Tuning with Latent Noise Representation Bridging
AI 导读
针对预训练扩散与流策略在强化学习微调中计算昂贵、样本效率低的问题，论文提出 Latent Noise Linear Markov Decision Process（LNL-MDP）并推导 Bridge Equation，通过让噪声空间与动作空间共享表示来消除"噪声混叠"。
正文 · AI 翻译
摘要：预训练的扩散策略与流策略已成为机器人领域的强大骨干，但通过强化学习（RL）将其适配到新数据上仍然计算代价高昂、样本效率低下且缺乏理论保证。此前微调初始噪声的方法绕过了代价高昂的时间反向传播，但难以应对“噪声混叠”问题：噪声空间值与动作空间值之间不存在自然的联系。本文通过引入潜在噪声线性马尔可夫决策过程（LNL-MDP）解决了这些挑战。我们推导出 LNL-MDP 的桥接方程，通过将值与噪声空间和动作空间之间的共享表示对齐，消除了噪声混叠问题。此外，我们的 LNL-MDP 微调框架属于具有近最优保证的 FineTuneRL 理论。基于这些洞见，我们提出了扩散潜在表示桥接（LARBRID），该算法高效地学习表示，以优化引导预训练模型在环境中最优行动的初始分布。在一系列多样化的机器人运动与操作任务中，它在具有挑战性的控制问题上带来了高达 2-3$\times$ 的性能提升。代码见：此 http URL。
| 评论： | 神经信息处理系统大会（NeurIPS），2026 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07275 [cs.RO] |
| （或 arXiv:2611.07275v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07275 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuanchu Liang [查看邮箱]
[v1]
2026年11月5日 星期四 00:49:53 UTC（4,322 KB）
来源：arXiv cs.AI · arxiv.org