arXiv cs.AI· Reece Keller, Declan Kutscher, Xaq Pitkow, Aran Nayebi·· 10 小时前AI 评分34
从内在动机构建世界模型：24 种内在目标如何影响世界模型学习
Building World Models from Intrinsic Motivation
AI 导读
研究将 24 种内在动机目标（涵盖好奇心、熵与胜任感）整合进统一的基于模型的强化学习框架，系统评估其构建的世界模型在零样本、少样本与多任务控制下的表现。结果显示，结合观测重建的好奇心驱动探索取得最强的整体家族表现，但最佳单项组合因实验而异；在组合式视觉任务中，融合情景新颖性与终身新颖性的内在动机取得最佳零样本迁移与少样本适应。
正文 · AI 翻译
摘要：在缺乏外在奖励或任务监督的情况下，人类行为由内在动机引导——这些神经信号驱动着好奇心、创造力、玩耍以及其他智能的关键方面。内在动机在构建稳健的世界模型方面发挥着重要的发展性作用，这些模型能够实现泛化和适应。然而，现有研究尚未阐明广泛的内在动机如何与世界模型表征学习相互作用以支持下游控制。这限制了我们对于哪些内在动机驱动的经验能够构建可复用模型的理解。为填补这些空白，我们将 24 个内在目标——包括已有方法以及涵盖好奇心、熵和胜任力的显式变体——整合到一个通用的基于模型的强化学习框架中。我们通过零样本、少样本和多任务控制在运动、操作和开放式游戏环境中评估它们所构建的世界模型，并采用三种表征学习策略：观测重建、潜在预测和冗余缩减。以观测重建为基础的好奇心驱动探索在整体家族画像上表现最强，尽管最佳个体配对取决于具体实验。在组合式视觉任务中，源自情景新颖性和终身新颖性（为世界模型的通用循环状态提供互补记忆）的内在动机实现了最佳的零样本迁移和少样本适应。这些发现促使我们联合设计内在动机与表征学习。我们的结果表明，世界模型是衡量内在动机驱动经验质量的有力工具，并将内在动机定位为自主构建世界模型的关键要素。
| 评论： | 27 页，11 幅图 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.13113 [cs.AI] |
| （或 arXiv:2611.13113v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13113 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Reece Keller [查看邮箱]
[v1]
2026 年 11 月 9 日星期一 19:02:32 UTC（690 KB）
来源：arXiv cs.AI · arxiv.org