arXiv cs.AI· Mingyu Park, Samyeul Noh, Hyun Myung, Donghwan Lee·· 11 小时前AI 评分27
VIGOR：基于模型强化学习中的潜在空间一致性实现零样本视觉泛化
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
AI 导读
VIGOR 通过潜在空间一致性让基于模型的强化学习（MBRL）实现零样本视觉泛化，在 TD-MPC2 上实例化后于 DMC 和 Robosuite 上分别超越次优基线 3.4% 和 43.6%。
正文 · AI 翻译
摘要：基于模型的强化学习（MBRL）通过在学到的潜在动力学中进行规划，实现了很强的样本效率，但在背景、光照或相机变化等未见过的视觉干扰下会显著退化。与无模型强化学习（其中编码器扰动只影响单步预测）不同，MBRL 存在两级脆弱性：干扰会将编码器输出推出分布之外，而这些误差会通过递归的潜在推演不断累积。我们提出了基于模型强化学习中潜在空间一致性的视觉泛化方法（VIGOR），它能够实现对未见干扰的零样本泛化，同时保持其骨干网络的样本效率。VIGOR 包含三个相互依赖的组件：(i) 非对称弱到强增强，在一个批次内配对仅弱增强和弱到强增强的潜在视图；(ii) 动力学级一致性，通过直接潜在回归强制增强不变的转移预测；(iii) 编码器级稳定化，在 (ii) 的交叉增强监督下防止编码器漂移。在 DeepMind Control Suite（DMC）和 Robosuite 上，基于 TD-MPC2 实例化的 VIGOR 在零样本泛化方面优于最先进的无模型和基于模型的基线，在 DMC 上超过次优基线 3.4%，在 Robosuite 上超过 43.6%，样本效率与其骨干网络相当，且环境交互次数少于其他基线。消融实验表明 VIGOR 与增强方式无关：来自不同扰动族的增强都能保持强泛化能力，证实了驱动鲁棒性的是潜在空间一致性，而非增强方式的选择。在 DreamerV3（一种结构不同的循环状态空间模型）上的第二个实例化也在两个基准上提升了零样本泛化能力，表明其收益与骨干网络无关。代码和视频：此 https URL。
| 评论： | 被 NeurIPS 2026 接收。修订版增加了在 DreamerV3 上的额外实验并更新了讨论 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.02801 [cs.AI] |
| （或 arXiv:2610.02801v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.02801 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Samyeul Noh [查看电子邮件]
[v1]
2026年10月2日星期五 04:46:58 UTC（35,778 KB）
[v2]
2026年11月5日星期四 14:02:50 UTC（36,985 KB）
来源：arXiv cs.AI · arxiv.org