arXiv cs.AI· Kwanyoung Park, Sergey Levine·· 11 小时前AI 评分26
MAC-v2：从像素进行长时程基于模型的价值扩展
MAC-v2: Long-horizon model-based value expansion from pixels
AI 导读
MAC-v2 通过训练无重建的潜在世界模型并结合动作分块，实现了从像素进行长时程基于模型的价值扩展。在 visual OGBench、MMBench2、Robomimic 和 LIBERO-10 等视觉基准上，MAC-v2 优于无模型与基于模型的离线 RL 基线。分析表明长时程价值扩展对性能至关重要，动作分块与潜在学习目标对可靠的长时程潜在想象均不可或缺。
正文 · AI 翻译
摘要：我们研究\emph{长时程基于模型的价值展开}能否作为基于像素的离线强化学习（RL）中的有效框架。基于像素的长时程基于模型的价值展开比基于状态的环境要困难得多，因为智能体必须同时学习表示及其动力学，而任一环节的误差都可能在想象轨迹上递归累积。我们提出 MAC-v2，通过使用动作分块训练无重建的潜在世界模型，实现基于像素的长时程基于模型的展开。通过从预测和控制目标中学习表示，MAC-v2 无需编码与控制无关的视觉细节，这些细节可能妨碍动力学预测。动作分块通过减少价值展开所需的递归模型预测次数，进一步缓解预测误差。在包括 visual OGBench、MMBench2、Robomimic 和 LIBERO-10 在内的多种视觉基准上，MAC-v2 相较于无模型和基于模型的离线 RL 基线取得了强劲表现。我们的分析表明，长时程基于模型的价值展开对 MAC-v2 的性能至关重要，而动作分块和潜在学习目标对于可靠的长时程潜在想象都是必不可少的。
| 评论： | 9 页（12 页附录与参考文献），提交至 ICLR 2027 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07245 [cs.LG] |
| （或 arXiv:2611.07245v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07245 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kwanyoung Park [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 23:51:02 UTC（221 KB）
来源：arXiv cs.AI · arxiv.org