arXiv cs.AI· Gagan Khandate·· 13 小时前AI 评分38
Echo：用离策略经验扩展视觉强化学习
Echo: Scaling Visual Reinforcement Learning with Off-policy Experience
AI 导读
Echo 是一个单阶段离策略强化学习框架，通过逆蒸馏让基于状态的辅助策略模仿视觉策略并采集无需渲染的经验，从而在不按比例增加视觉计算的情况下扩展经验收集。基于 FastTD3 实现，在 Genesis 的三个视觉控制任务和两个灵巧操作任务上，相比 SDPG 将达到参考回报的时间分别平均缩短 60% 和 56%，峰值平均回报分别提升 62% 和 12%。
正文 · AI 翻译
摘要：使用 GPU 加速仿真来扩展视觉强化学习（RL）的计算成本很高，原因是渲染和视觉策略推理的开销。因此，通常采用两阶段教师—学生蒸馏来训练视觉策略，但这会引入模仿差距。在这项初步研究中，我们提出 \echomethod{}，\textbf{一个单阶段离策略 RL 框架，它能够扩展经验收集，而不会按比例增加视觉计算}。通过 \textbf{逆向蒸馏}，一个基于状态的辅助策略模仿不断演化的视觉策略，并收集廉价、无需渲染的经验。Echo 利用这些经验进行离策略价值学习，通过共享的特权评论家直接改进视觉策略。我们用 FastTD3 实例化 \echomethod{}，并在 Genesis 中的三个视觉控制任务和两个灵巧操作任务上对其进行评估。在评估配置下，相对于 \sdpgmethod{}，Echo 将达到参考回报的时间在 \textbf{三个运动任务上平均缩短 60\%}，在 \textbf{两个手部任务上平均缩短 56\%}，同时将峰值平均回报分别提高 \textbf{62\% 和 12\%}。在相同的模拟器转移预算下，两个手部任务也实现了更高的平均回报。这些初步结果表明，扩展离策略经验是实现高效直接视觉 RL 的一条有前景的途径。
| 评论： | 报告。16 页 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37865 [cs.RO] |
| （或 arXiv:2610.37865v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37865 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Gagan Khandate [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 19:11:05 UTC（774 KB）
来源：arXiv cs.AI · arxiv.org