arXiv cs.CL· Scott C. Lowe, Sander W. Keemink·· 6 天前AI 评分42
SpireBench：用《杀戮尖塔》评测智能体模型的长程策略能力
SpireBench: Evaluating Long-Horizon Strategic Play of Agentic Models with Slay the Spire
AI 导读
研究者推出 SpireBench，让 20 个大语言模型在最高难度下完整游玩商业卡牌构筑游戏《杀戮尖塔》。前沿模型能击败启发式基线并追平普通人类玩家，但仍远落后于专家，且随着流程变长差距扩大：最强模型在第一幕胜率与专家相当，之后逐渐掉队。
正文 · AI 翻译
摘要：智能体式大语言模型如今已能处理复杂任务，但长时程上的策略推理仍研究不足：大多数智能体基准测试都是短时程、片段式的，而长任务上的表现很难拆解为存储知识、推理和运气。我们提出 SpireBench，其中模型游玩完整的商业牌组构建游戏《杀戮尖塔》（Slay the Spire，StS），早期决策决定长期成败。在游戏最高难度下对 20 个大语言模型（LLM）的测试中，前沿模型击败了启发式基线并达到普通人类玩家的水平，但仍远落后于专家。这一差距随着游戏进程延长而扩大：最强模型在第一幕的胜率与专家相当，随后便落后。强模型与弱模型的区别在于它们每场战斗的表现；所有模型在整局游戏中都会误判风险，倾向于保留生命值而非消耗生命值来变得更强。对每个游戏术语进行全面且自洽的重新命名表明，它们的部分表现依赖于对游戏的先验知识，而且模型不会从跨局游戏所写的记忆中改进，这些记忆往往错误且过于保守。我们的测试框架首次让模型游玩完整的原版游戏，并将其与现有框架进行比较。总体而言，SpireBench 提供了一个未饱和的长时程基准，并配有工具来定位智能体在何处以及为何失败。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.12596 [cs.AI] |
| （或 arXiv:2610.12596v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12596 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Scott Lowe [查看电子邮件]
[v1]
2026年10月8日星期四 18:18:19 UTC（2,011 KB）
来源：arXiv cs.CL · arxiv.org