arXiv cs.AI· Changyeon Kim, Kimin Lee, Yashraj Narang, Yijie Guo·· 3 天前AI 评分38
ACCRUE：面向机器人基础模型的持续离线策略强化学习框架
ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models
AI 导读
ACCRUE 是一个持续离线策略强化学习框架，通过在任务间传递轻量 actor 和 critic 网络，让每个阶段复用先前 RL 获得的行为与价值知识。在仿真和真机接触密集型装配任务中，ACCRUE 加速后续任务学习且几乎无遗忘，真机训练时间减少 31.0% 至 68.5%。
正文 · AI 翻译
摘要：强化学习（RL）后训练使机器人基础模型（RFM）超越其演示数据，但真实世界部署要求更多：高效学习新任务，同时保留先前获得的行为。现有基于 VLA 的持续 RL 方法可缓解遗忘，但依赖策略内更新，前向迁移能力有限；而策略外方法提高了单任务样本效率，却未解决学习器跨任务的持续性问题。我们提出 ACCRUE，一种持续策略外 RL 框架，它在任务间携带轻量级 actor 和 critic 网络，使每个阶段都能复用先前 RL 获得的行为和价值知识。继承的 critic 仅在当前任务转移上自适应，并指导当前任务 actor 的学习，同时通过在少量保留回合上向缓存目标蒸馏 actor 来保留先前行为。固定视觉特征使继承的学习器及其回放与基础策略更新保持兼容。在仿真和真实机器人硬件上的接触密集型装配序列中，ACCRUE 加速了后续任务学习，遗忘近乎为零，并将真实机器人训练时间显著减少 31.0\% 至 68.5\%。
| 评论： | 项目网站：此 https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.18596 [cs.RO] |
| （或 arXiv:2610.18596v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18596 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Changyeon Kim [查看电子邮件]
[v1]
2026年10月13日星期二 15:53:26 UTC（4,284 KB）
来源：arXiv cs.AI · arxiv.org