arXiv cs.AI· Nikolai Smolyanskiy, Jonathan Shock·· 9 天前AI 评分22
RSSM 世界模型中的奖励可观测性与离线检查点选择的局限
Reward Observability and the Limits of Offline Checkpoint Selection in RSSM World Models
AI 导读
研究在 LunarLander-v3 上训练的 RSSM 世界模型，其基于世界模型检查点 280 的 A2C 策略在 100 个留出回合上平均回报 +189.5，追平最佳无模型 A2C 检查点（+183.7），但真实训练转移少约 65 倍。作者提出奖励可观测分数（ROF），发现其数值随潜变量缩放变化、跨模型不可比，且无法预测 MPC 的闭环崩溃；筛查的 108 个离线指标均未通过置换检验。
正文 · AI 翻译
摘要：我们研究了在 Gymnasium 的 LunarLander-v3 中基于人类演示训练的循环状态空间模型（RSSM）世界模型的闭环特性。我们使用训练好的世界模型进行零样本 CEM 模型预测控制（MPC），并在想象中进行 actor-critic（A2C）训练。在 100 个留出回合上评分，选定的基于模型的 A2C 策略（在世界模型检查点 280 上训练）达到 +189.5 的平均回报，与最佳无模型 A2C 检查点（+183.7；分别为 600 步和 1000 步的回合上限）相当，而真实训练转移次数约少 65 倍。我们还将在世界模型 MPC 与在成功演示上训练的行为克隆（BC）策略进行比较。BC 策略仅在随机动作选择下才能达到 MPC 的平均回报，并且在相同的 20 个回合中，它有一个灾难性回合，而 MPC 没有。然后我们引入奖励可观测分数（ROF），即奖励梯度在线性化潜在动力学的可观测子空间中的欧几里得分数，并表明接下来的 H 个观测携带关于该子空间中每个方向的 Fisher 信息，而不携带关于与其正交方向的信息。然而 ROF 本身取决于潜在变量如何缩放：重新缩放它会改变 ROF 但不改变模型，因此原始水平在不同模型之间不可比较。将奖励头强制到后验校正的潜在变量 z 上会提高 ROF，并且在我们测试的两组运行中，这一上升在坐标不变性检查下仍然成立。最后，我们测试 ROF 或其他离线指标能否预测 MPC 的闭环崩溃。崩溃在具有相同数据和配置的不同训练运行之间会变化。ROF 不能预测它，我们筛选的 108 个离线摘要中没有一个通过置换检验，并且最佳候选在新运行上失败。仅从模型和记录数据离线预测崩溃仍然是一个开放问题。
| 评论： | 预印本，22 页（17 页正文 + 5 页附录），4 幅图，9 张表。视频：此 https URL ，代码：此 https URL 和 此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；系统与控制（eess.SY） |
| ACM 分类： | I.2.6; I.2.8; I.2.9 |
| 引用为： | arXiv:2607.01736 [cs.LG] |
| （或 arXiv:2607.01736v3 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2607.01736 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Nikolai Smolyanskiy [查看电子邮件]
[v1]
2026 年 7 月 2 日星期四 05:46:03 UTC（2,597 KB）
[v2]
2026 年 7 月 4 日星期六 04:11:55 UTC（2,597 KB）
[v3]
2026 年 10 月 8 日星期四 02:14:26 UTC（2,534 KB）
来源：arXiv cs.AI · arxiv.org