arXiv cs.AI· Shawheen Naderi, Fatemeh Akherati, Yubei Chen·· 3 天前AI 评分32
PPO 智能体的价值函数中是否存在世界模型？可视化研究揭示 Crafter 环境中的概念学习
Visualizing the World Model in an Agent's Value Function
AI 导读
研究者对 PPO 智能体在 Crafter 环境中的价值函数施加反事实干预，发现尽管仅以优化奖励为目标训练，价值函数仍学到了钻石可收集规则、水与食物影响健康等概念。团队可视化这些世界模型并讨论了其安全启示，同时指出当前强化学习智能体阻碍构建真正先进机器智能的若干缺陷。
正文 · AI 翻译
摘要：无模型强化学习算法实际上是否可能在学习环境模型？在这项工作中，我们应用反事实干预，在保持状态其他一切不变的情况下仅改变目标变量，以探究近端策略优化（PPO）智能体的价值函数是否形成了 Crafter 环境的世界模型。尽管仅被训练用于优化奖励，我们发现价值函数学习到了诸如钻石何时可收集的规则、水和食物对健康的影响、关于库存的启发式规则等概念。最后，我们讨论了可视化结果的安全影响，以及当前强化学习智能体的一些缺陷，这些缺陷将阻碍我们构建真正先进的机器智能。
| 评论： | 20 页，15 幅图，3 张表 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.14186 [cs.AI] |
| （或使用 arXiv:2610.14186v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.14186 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
发件人：Shawheen Naderi [查看邮箱]
[v1]
2026年10月9日星期五 18:01:55 UTC（11,537 KB）
来源：arXiv cs.AI · arxiv.org