arXiv cs.AI· Weixian Waylon Li, Jiaxin Zhang, Han Zhou, Chengzu Li, Ke Wang, Fengxiang He, Yiwen Guo·· 3 天前AI 评分41
GameSmith：用合成游戏扩展零和自博弈训练
GameSmith: Scaling Zero-Sum Self-Play with Synthesised Games
AI 导读
GameSmith 通过让 LLM 在模板内合成游戏来扩展零和自博弈训练，从三个 SPIRAL 模板生成 29 个游戏家族中的 26 个新游戏和 336 个已验证变体，每个游戏经种子配对回放和独立重实现验证。
正文 · AI 翻译
摘要：在两人零和博弈上对大型语言模型（LLM）进行后训练可提供可验证的奖励，且其收益已被证明能迁移到通用推理。然而，现有流程依赖少量手写博弈以及与之绑定的优势估计器，因此博弈的供给和大规模语料上的优势估计都限制了扩展。我们提出 GameSmith，可同时扩展这两者。一个 LLM 在模板内合成博弈，这些模板的奖励、观测和隐藏信息代码是固定的。每个博弈都通过种子配对回放以及对其规范的独立重新实现进行验证，然后扩展为编码、规则和规模变体，从三个 SPIRAL 模板中产生 29 个家族中的 26 个新博弈和 336 个已验证变体。该模型从更大教师模型（Qwen3-32B）在这些博弈上的自我对弈中蒸馏而来，然后通过自我对弈强化学习进行训练，使用 CRAB——一种优势估计器，它根据对每个决策所在局面期望回报的收缩估计来归因每个决策，并在每个变体上都有定义。在 Qwen3-4B-Base 上，蒸馏将 13 项基准的平均 pass@1 从 45.5 提升到 62.5，在相同预算下高于三个 SPIRAL 博弈，而使用 CRAB 的自我对弈达到 64.9。该排序在不同模型上保持一致，且迁移随博弈家族数量的增加而增长。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13995 [cs.LG] |
| （或 arXiv:2610.13995v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13995 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Waylon Li [查看邮箱]
[v1]
2026年9月26日星期六 23:07:02 UTC（251 KB）
来源：arXiv cs.AI · arxiv.org