arXiv cs.CL· Zixiang Xu, Zirui Song, Wanrong Zheng, Chiyu Zhang, Yue Huang, Yuyang Peng, Kexin Zhang, Jinkun Chen, Xiuying Chen, Xiangliang Zhang, Yan Liu, Laurent Itti, Frank Shyu, Xiaoqiang Luo, Sandeep Pandey, Xi Liu, Luke Simon, Xiyang Hu, Yue Zhao·· 2 天前AI 评分31
Grid-Bench：LLM 能否预测离散世界的变化？
Grid-Bench: Can LLMs Predict How Discrete Worlds Change?
AI 导读
研究者推出 Grid-Bench，一个可执行基准，用二、三、四维网格表示离散世界，让模型在给定初始网格、显式规则和文本事件历史后预测完整最终网格。评估六款 LLM 显示，随着历史变长，完整状态准确率急剧下降，单事件表现相近的模型出现明显分化。参考执行使每个预测值可核验，从而在空间操作、历史长度和工作负载间直接比较。
正文 · AI 翻译
作者：Zixiang Xu、Zirui Song、Wanrong Zheng、Chiyu Zhang、Yue Huang、Yuyang Peng、Kexin Zhang、Jinkun Chen、Xiuying Chen、Xiangliang Zhang、Yan Liu、Laurent Itti、Frank Shyu、Xiaoqiang Luo、Sandeep Pandey、Xi Liu、Luke Simon、Xiyang Hu、Yue Zhao
摘要：空间指令描述如何移动对象、变换区域或修改其周围环境。当多个操作按顺序应用时，每个操作都作用于由先前更改所塑造的配置。大型语言模型（LLM）能多准确地预测由此产生的空间状态？我们提出了 Grid-Bench，这是一个可执行的基准测试，其中八类操作将离散世界变换为二维、三维和四维网格。给定初始网格、显式规则以及以文本表示的事件历史，模型预测完整的最终网格。参考执行使每个预测值都可核查，支持跨空间操作、历史长度和工作负载的比较。对六个 LLM 的评估表明，随着历史增长，完整状态准确率急剧下降，而在单个事件上表现相似的模型之间存在显著差异。在共享实例上，精确匹配准确率相似的模型在错误单元格数量上仍可能差异很大。即使在长历史中，一些模型也能恢复许多正确的更改，超出复制初始状态所能得到的结果。Grid-Bench 使完整恢复以及返回状态中的这些差异在一系列空间条件下都可直接测量。
| Comments: | 39 页，15 幅图，15 张表，包括附录。项目网站：this https URL ；代码：this https URL ；数据：this https URL |
| Subjects: | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22312 [cs.CL] |
| （或 arXiv:2610.22312v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22312 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zixiang Xu [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 17:50:57 UTC（737 KB）
来源：arXiv cs.CL · arxiv.org