arXiv cs.AI· Christopher Solinas, Radovan Halu\v{s}ka, Martin Schmid, Michael Buro, Nathan R. Sturtevant, Michael Bowling·· 3 天前AI 评分26
Belief Embedding Tree Search：用生成分布嵌入做信念树搜索的蒙特卡洛规划器
Belief Embedding Tree Search
AI 导读
研究者提出 Belief Embedding Tree Search（BETS），一种蒙特卡洛规划器，用生成分布嵌入（GDE）表示每个节点的信念，并通过 POMDP 动力学更新，信念模型与策略、价值网络一同从经验中训练，以 POMDP 的真实隐藏状态为训练目标。
正文 · AI 翻译
摘要：部分可观测马尔可夫决策过程（POMDP）中的信念是在给定智能体动作与观测历史的情况下，关于隐藏状态的后验分布。它们概括了历史中关于状态的一切信息，因此在 POMDP 中规划就是在信念上的马尔可夫决策过程（MDP）中规划。即使对于有限 POMDP，信念 MDP 也具有连续状态空间，且对其的精确规划通常是不可行的。因此，规划器必须近似信念并估计价值。蒙特卡洛规划器在搜索树内同时完成这两者，每个节点处有近似信念，每个叶节点处有价值估计。近似通常由采样状态集合组成，叶节点价值来自 rollout、手工设计的边界或学习到的网络。由这些近似计算出的策略和价值受其质量限制，而先前使用学习网络的方法依赖于对采样状态手工选择的摘要。信念表示应能通过 POMDP 的动态从父节点的表示计算得到，允许搜索从中采样，并且可学习，从而提供策略和价值函数所需的信息。我们提出信念嵌入树搜索（BETS），这是一种蒙特卡洛规划器，通过用生成分布嵌入（GDE）表示每个节点的信念，同时通过 POMDP 动态更新它，从而满足这些要求。BETS 通过经验同时训练其信念模型以及策略和价值网络，并以 POMDP 实际实现的隐藏状态作为信念模型的训练目标。我们在 RockSample、LightDark 和 PocMan 的六种配置上评估 BETS，并与 BetaZero 以及三个不含学习组件的规划器进行比较。BETS 在所有六种配置上都具有竞争力或处于领先，而每个基线至少在一种配置上远远落后。在信念维度最高的情况下，它大幅优于它们，即使不进行搜索也是如此。
| Subjects: | 人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.15046 [cs.AI] |
| （或 arXiv:2610.15046v1 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2610.15046 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Christopher Solinas [查看电子邮件]
[v1]
2026年10月10日星期六 16:36:45 UTC（62 KB）
来源：arXiv cs.AI · arxiv.org