arXiv cs.AI· Nick Leenders, Roy Lindelauf, Joost van Oijen, Boris Cule·· 9 天前AI 评分18
基于约束命令条件强化学习与 Bandit 策略选择的 MicroRTS 智能体
Constrained Command-Conditioned Reinforcement Learning with Bandit Strategy Selection in Real-Time Strategy Games
AI 导读
研究者提出一种约束命令条件 PPO 执行器，配合 Thompson 采样 Bandit 策略器，在 MicroRTS 中按游戏内观测估计对手策略并选择命令元组，而非依赖对手身份。
正文 · AI 翻译
摘要：深度强化学习智能体在实时策略游戏中表现强劲，但面对训练分布之外的对手时可能很脆弱。将战略指令选择与学习到的单位控制分离，可以为不同对手选择不同策略，同时复用相同的执行策略。这需要一个能够遵循不同指令的执行器，以及可衡量的标准来评估它是否做到了。我们为 MicroRTS（一个实时策略环境）引入了一种受约束的、以指令为条件的近端策略优化（PPO）策略，即执行器。离散指令在多个环境步骤中指定战略目标以及经济、军队构成、军事姿态和工人策略方面的行为要求；执行器决定用于实现这些目标的单位级动作。一个汤普森采样赌博机充当战略家，根据从游戏内观察而非对手身份构建的对手策略估计来选择指令元组。在与使用相同架构、预算、课程和自对弈联盟训练的扁平 PPO 基线进行的受控比较中，战略家-执行器系统在训练地图上对四个最强对手中的三个赢得显著更多，包括两个最强的留出对手（0.55 到 0.97 和 0.01 到 0.34），而对其他对手则无显著差异。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11663 [cs.AI] |
| （或 arXiv:2610.11663v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11663 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：NIck Leenders [查看电子邮件]
[v1]
2026年10月8日星期四 10:37:33 UTC（178 KB）
来源：arXiv cs.AI · arxiv.org