arXiv cs.AI· Austin Tudor David Andrews, Liam Wilkinson, Jamie Heagerty, Harry Coppock, Jakob Nicolaus Foerster, Rui Ponte Costa·· 10 小时前AI 评分38
CivBench：面向《文明 VI》中工具调用智能体的长时程基准
CivBench: A Long-Horizon Benchmark for Tool-Mediated Agents in Civilization VI
AI 导读
CivBench 是一个开源基准，通过 MCP 在《文明 VI》中评测语言模型智能体的长时程工具调用能力，单局可超 300 回合、产生数千次工具调用，环境暴露 76 个 MCP 工具。
正文 · AI 翻译
摘要：我们提出 CivBench，一个开源基准，用于通过模型上下文协议（MCP）在长时程、工具介导的环境中评估语言模型智能体。单个回合可跨越 300 多轮，并在大动作空间上产生数千次工具调用，需要持续规划、状态监控以及在部分可观测条件下的执行。该环境暴露 76 个 MCP 工具和一个确定性叙述层，后者检索游戏状态并将其格式化为结构化文本。我们使用 CivBench 在 23 次可接受的运行中刻画四个模型系列的智能体行为。该样本为试点，并非模型排名：在此规模下，聚合结果无法可靠区分模型。相反，我们引入两个环境使其可测量的接口级指标：主动监控率（PMR），捕捉智能体是否主动查询潜在战略状态；以及 RAG@10，捕捉在结构化规划反思中声明的承诺是否在随后十轮内执行。在共享剧本协议下，我们在各次运行中观察到两种一致模式。智能体对可用但需要显式查询的战略相关状态监控不足：尽管剧本指导每 20 轮查询胜利进度，智能体仅每 30-75 轮查询一次，并且在 20 次可检测失败中有 8 次未能在游戏结束前的 20 轮警告窗口内查询。智能体也经常未能执行其自身规划反思中声明的近期承诺（各模型的 RAG@10 在 48.2% 至 65.8% 之间）。这两种模式均在具备工具访问和明确指导的情况下出现，我们将其解释为指令下的偏差，而非能力缺失。我们在 此 https URL 发布环境、场景、日志、指标和分析流水线。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.02459 [cs.AI] |
| （或此版本的 arXiv:2609.02459v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.02459 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Austin Andrews [查看电子邮件]
[v1]
2026年9月2日星期三 11:31:39 UTC（5,132 KB）
[v2]
2026年11月4日星期三 17:39:10 UTC（5,032 KB）
来源：arXiv cs.AI · arxiv.org