arXiv cs.MA· Vartan Shadarevian, Kia Ghods, Alex Kenich, Anany Kotawala·· 10 小时前AI 评分38
GENSTRAT：面向大语言模型战略推理科学的程序化生成评测系统
GENSTRAT: Toward a Science of Strategic Reasoning in Large Language Models
AI 导读
GENSTRAT 通过程序化生成两人零和不完全信息下注游戏来评测 LLM 的战略能力，可随时按需生成全新对局，避免固定游戏套件饱和与污染问题。基于该生成器构建的 50 款游戏基准上，12 个前沿与开源权重模型进行了超 40,000 场 LLM 对 LLM 对局；在 8 款最难游戏上，最佳与最差模型的差距是全套游戏上该差距的 1.7 倍。
正文 · AI 翻译
摘要：用于评估大型语言模型（LLM）战略推理能力的固定游戏套件会趋于饱和，且难以避免污染。我们提出 GENSTRAT，这是一个由程序化生成双人零和不完全信息下注游戏驱动的 LLM 战略能力评估系统，允许评估者按需抽取新颖、全新的游戏。每个游戏在五个复杂度轴（状态空间、时间偶然性、对手依赖性、私有信息、精确度）的尺度上刻画，并通过蒙特卡洛模拟进行测量。利用该生成器，我们构建了一个包含 50 个游戏的基准，并举办了由十二个前沿模型和开放权重模型参加的锦标赛，收集了超过 40,000 场 LLM 对 LLM 比赛的数据。我们进一步构建了一个复合复杂度轴，并发现，在八个最难的游戏中，最佳与最差模型之间的差距是整个游戏集合中该值的 1.7 倍。消融实验表明，更高的思考预算、披露对手策略，以及与游戏特定需求（针对私有信息和规划深度）相匹配的更高推理能力，与 LLM 玩家更高的胜率优势相关。
| 评论： | 33 页，8 幅图，17 张表（正文 3 幅图，2 张表） |
| 主题： | 人工智能（cs.AI）；计算机科学与博弈论（cs.GT）；机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2605.23238 [cs.AI] |
| （或 arXiv:2605.23238v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.23238 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Vartan Shadarevian [查看邮箱]
[v1]
2026 年 5 月 22 日星期五 05:13:45 UTC（1,940 KB）
[v2]
2026 年 10 月 29 日星期四 23:30:39 UTC（1,122 KB）
来源：arXiv cs.MA · arxiv.org