arXiv cs.AI· Jianxin Gao, Beini Hu, Runze Li, Hongjian Fang, Wanli Peng·· 11 小时前AI 评分34
MirrorCraft：Minecraft 隐藏规则变化下的配对评测基准
MirrorCraft: Paired Evaluation under Hidden Rule Changes in Minecraft
AI 导读
MirrorCraft 是一个在 Minecraft 隐藏规则变化下评测 LLM 智能体的配对基准，每个 Mirror 世界复制对应的 Vanilla 世界，仅通过数据包静默修改服务端规则，地形、出生点、资源分布、任务、接口与动作预算保持匹配。
正文 · AI 翻译
摘要：随着大语言模型（LLM）的快速进展，一个有趣的问题浮现出来：基于 LLM 的智能体在 Minecraft 中表现如何？迄今为止，大多数 Minecraft 基准测试都在固定的游戏机制下评估它们，而这些机制在网上有大量文档记录。在这些设定下的高性能并不能说明当熟悉的配方、掉落物和其他规则发生变化时，智能体是否还能继续取得进展。在本文中，我们提出了 MirrorCraft，一个用于在 Minecraft 中隐藏规则变化下评估智能体的配对基准。每个 Mirror 世界都是其配对 Vanilla 世界的副本，其中选定的服务器端规则由一个规则套件的数据包静默修改。在每个 Vanilla-Mirror 配对中，地形、出生点、资源放置、任务、界面和动作预算都保持匹配。MirrorCraft 包含五个受控生物群系中的 10 个 Vanilla 世界、六个规则套件和三个进度任务，我们在共享的 Mineflayer 界面下评估了两个 LLM 和六种智能体配置。我们用服务器验证的进度里程碑来衡量进展，用成功率来衡量完成情况，并将规则干预效应（RIE）定义为配对的 Vanilla 世界和 Mirror 世界之间的性能变化。8,640 个回合的实验表明，隐藏规则变化在不同套件中的影响差异很大。在未提供规则描述的配置中，ReAct、Reflexion 和 Voyager 取得了最高的汇总 Mirror 分数，但 ReAct 在资源掉落被压缩时损失最大。向 ReAct 提供确切规则后，所有三个任务的平均进展和完成率都有适度提升，但一旦规则已知，套件之间的大部分差异仍然存在。MirrorCraft 将 Minecraft 评估扩展到固定机制之外，并提供了一个受控环境，用于研究当当前世界的规则与熟悉的规则不同时，智能体如何利用游戏结果。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2607.29218 [cs.AI] |
| （或此版本的 arXiv:2607.29218v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2607.29218 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jianxin Gao [查看电子邮件]
[v1]
2026年7月31日星期五 09:43:54 UTC（9,777 KB）
[v2]
2026年10月23日星期五 15:19:06 UTC（1,410 KB）
来源：arXiv cs.AI · arxiv.org