arXiv cs.AI· Erwan C. Escudie, Matthia Sabatelli, Jilles Steeve Dibangoye·· 12 小时前AI 评分26
面向零和 POSG 的保守策略迭代算法
Conservative Policy Iteration For Zero-Sum POSGs
AI 导读
研究者提出一种面向有限时域零和部分可观测随机博弈（zs-POSG）的近似策略迭代算法，为每名玩家维护一个策略并沿保守策略更新诱导的占据轨迹联合更新，每次更新只用当前联合策略诱导的单个支撑超平面，而非逼近完整中心价值函数。在有限时域零和 POSG 基准上，该方法在小时间跨度下具竞争力，较大跨度下相比 PBVI、HSVI 和 CFR+ 常能改善运行时与可利用度的权衡。
正文 · AI 翻译
摘要：占用状态约简使得零和部分可观测随机博弈（zs-POSGs）的动态规划成为可能。现有的基于点的求解器通常优化一个中心价值函数。这恢复了贝尔曼递归，但需要在高维占用空间上进行基于点的更新。我们提出了一种针对有限时域 zs-POSGs 的近似策略迭代算法。该方法为每个玩家维护一个策略，并沿保守策略更新所诱导的占用轨迹联合更新两者。每次更新不近似完整的中心价值函数，而是使用由当前联合策略诱导的单个支撑超平面。该算法交替进行局部策略改进、保守更新和持续探索。因此，计算集中在当前联合策略可被利用的占用区域。在有限时域零和 POSG 基准测试上，该方法在小时间范围上具有竞争力，并且在较大时间范围上相比 PBVI、HSVI 和 CFR+ 往往能改善运行时间与可利用性之间的权衡。
| 主题： | 人工智能（cs.AI）；计算机科学与博弈论（cs.GT） |
| 引用为： | arXiv:2610.36847 [cs.AI] |
| （或 arXiv:2610.36847v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36847 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Erwan Escudie [查看电子邮件]
[v1]
2026年10月27日星期二 08:45:33 UTC（321 KB）
来源：arXiv cs.AI · arxiv.org