arXiv cs.AI· Ajay Vikram Periasami, Anjaneya Gupta, Ethan Cheng, Ivan Rosales·· 13 小时前AI 评分26
面向 Balatro 游戏的强化学习：快速模拟器与双策略训练方法
Reinforcement Learning for the Game of Balatro: A Fast Simulator and Two-Policy Training Approach
AI 导读
研究团队为卡牌游戏 Balatro 构建端到端强化学习流水线，包含经 BalatroBot 与线上客户端自动状态比对的 Rust 高速模拟器、带动态合法动作掩码的压缩观测-动作接口，以及将出牌与商店决策拆分的多智能体 PPO 架构。
正文 · AI 翻译
摘要：Balatro 是一款 2024 年的 roguelike 牌组构建游戏，它呈现出三种历来令强化学习方法受挫的难点：一个依赖状态、包含 3,000 个动作的动作空间；长达数百个决策的回合跨度且奖励稀疏；以及卡牌抽取和商店生成中普遍存在的随机性。该游戏已发表的强化学习成果仍然稀少。我们提出了一套端到端流程，包括：(i) 一个高吞吐量的 Rust 模拟器，通过 BalatroBot 自动与实时游戏客户端进行状态差分比对；(ii) 一个精简的观测-动作接口，可对合法动作进行动态的逐步掩码；(iii) 一种多智能体 PPO 架构，将游戏过程分解为战术性盲注策略和战略性商店策略，二者共享完整的游戏状态，但在互不重叠的阶段行动。长程信用分配问题通过按智能体路由奖励并显式设置跨智能体信用而得到部分解决。在主联合运行中，训练指标显示出急剧的相变：首个盲注的通关率收敛至 99% 以上，平均回合回报提升约一个数量级，并在平均最高底注 3（共 8）处趋于平稳；在相同奖励下，单智能体基线在贪婪与囤积两种失败模式之间振荡，无法稳定通过首个盲注。这些结果确立了双策略分解作为 Balatro 的一个强反应式基线，并将剩余差距定位在长程战略规划而非战术性盲注打法上。
| 评论： | 已被 EXAG 2026（AIIDE 游戏实验性 AI 研讨会）接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39049 [cs.LG] |
| （或 arXiv:2610.39049v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39049 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ajay Vikram Periasami [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 23:24:53 UTC（2,347 KB）
来源：arXiv cs.AI · arxiv.org