arXiv cs.AI· Yanchen Liu, Xinyu Che, Brihi Joshi, Renzo Fukuda, Junhua Liu, Ruifeng Li, Yunfei Ge, Hang Yan, Xiang Ren·· 1 天前AI 评分39
Freeciv 长时程智能体训练：CivHarness 与 CivTelescope 如何提供回放锚定的奖励信号
Rome Wasn't Built in One Turn: Replay-Grounded Reward Signals for Long-Horizon Freeciv Agents
AI 导读
针对策略游戏中稀疏且易误导的反馈，研究者提出“记分板陷阱”概念——在八款策略游戏中，8%-68%的局面配对里高分局面反而导致更差结局。为此构建 CivHarness 系统，可保存 Freeciv 游戏状态、分支决策并回放至未来回合以获取长时程反馈，并用其训练 LLM Judge CivTelescope，在陷阱配对上准确率比现成语言模型高 1.3-2.0 倍。
正文 · AI 翻译
摘要：训练语言模型智能体玩长时程策略游戏很困难，因为确定性反馈稀疏，且往往只在游戏结束时才出现。游戏内得分可以提供密集信号，但它们无法可靠地预测未来结果：在八款策略游戏中，有 8-68% 的局面配对里，得分更高的局面反而导致更差的结果。我们将这一现象称为记分板陷阱。Freeciv 是一款开源的回合制帝国建设游戏，多名玩家在数百个回合中管理单位、城市和外交，我们在此探索更适合游戏智能体的奖励信号。为此，我们构建了 CivHarness，这是一个开放系统，可保存当前游戏状态、在不同决策上分支，并重放游戏到未来回合，从而从保存的局面提供可度量的长时程反馈。我们使用 CivHarness 训练 CivTelescope，这是一个 LLM 评判器，用于预测两个游戏局面中哪一个会带来更好的结果。在记分板陷阱配对上，CivTelescope 的准确率是现成语言模型的 1.3-2.0 倍，并且能泛化到新的游戏开局、更晚的回合和未见过的规则。随后，我们以 CivTelescope 作为密集奖励训练了一个 Freeciv 游戏智能体，并将这一方案称为 CivMarshmallow。在记分板陷阱常见的游戏中期阶段使用时，CivMarshmallow 达到平均训练阶段增益 8.94 分，比最佳基线（游戏结束奖励）高出 77%。在完整的 120 回合游戏中，CivMarshmallow 使用一种混合奖励：从记分板或游戏结束奖励开始，随着游戏推进逐渐转向 CivTelescope；在我们比较的奖励中，这种混合奖励得分最高。
| 评论： | 22 页，3 幅图，12 张表。代码：此 https URL ；检查点：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41264 [cs.AI] |
| （或 arXiv:2610.41264v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41264 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yanchen Liu [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 05:13:31 UTC（1,424 KB）
来源：arXiv cs.AI · arxiv.org