arXiv cs.AI· Hieu Tran, Hong Yu·· 12 小时前AI 评分31
SDI：在世界模型中通过比较想象实现探索与规划
Second Thoughts: Exploring and Planning through Comparative Imagination in World Models
AI 导读
研究者提出 SDI（Sibling Disagreement in Imagination），以 actor 自身动作序列的重复 rollout 变化作为共享参考，同时驱动探索信号与计划接受判断。
正文 · AI 翻译
摘要：世界模型让智能体在行动前比较想象的结果，但智能体仍须决定探索哪些备选方案，以及提议的计划何时应取代其已学习的策略。我们提出 SDI（想象中同源分歧，Sibling Disagreement in Imagination），它通过一个共享的基于行动者的参照来连接这些决策。SDI 比较从同一模型状态想象出的动作序列，通过对行动者自身序列的重复 rollout 来测量固定行为下的变异。这一参照同时衡量候选回报之间的离散程度（提供探索信号）和提议计划的预测优势（决定动作接受与否）。当计划的优势超过参照变异性一个固定倍数时，智能体执行该计划动作；否则遵循行动者。SDI 复用基础智能体的世界模型、行动者和评论家，无需额外的分歧集成。探索和规划指导训练数据收集，而评估仅使用学习到的行动者。在 Meta-World、Adroit 和 DM-Control 上，SDI 在每个套件中观察到的任务平均得分均高于所有对比基线，并在 18 个任务中的 15 个上达到或超过最强基线的表现。组件消融和鲁棒性分析进一步考察了探索、规划暴露和动作接受的作用。来自相同模拟器状态的配对评估表明，相对于无门控规划，该门控既改善了行动者失败后的恢复，也保留成功行为，同时大幅减少回报退化。总之，这些结果支持将想象备选方案与共享行动者参照进行比较，作为使用世界模型进行探索和规划的统一方法。
| 评论： | 14 页，3 幅图，2 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28779 [cs.LG] |
| （或 arXiv:2610.28779v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.28779 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hieu Tran [查看邮箱]
[v1]
2026 年 10 月 20 日星期二 18:12:07 UTC（218 KB）
来源：arXiv cs.AI · arxiv.org