arXiv cs.AI· Nicholas Saban, Charvi Bannur, Mariya Vasileva, Darshan Deshpande·· 11 小时前AI 评分38
GlobeBench：评估文本世界模型的可扩展环境模拟能力
GlobeBench: Evaluating Text-Based World Model Capabilities for Scalable Environment Simulations
AI 导读
GlobeBench 是一个包含 1,632 个任务、覆盖五个领域和十九项模拟技能的文本世界模型基准，用于检验模型能否根据完整智能体轨迹预测环境对特定动作的响应。在 20 个通用 LLM 和专用文本世界模型中，GPT-6 Astra 任务成功率最高，为 49.57%；当动作影响需传播到依赖对象时，20 个模型平均成功率降至 5.1%，另有 631 个任务无任何模型解决。
正文 · AI 翻译
摘要：基于文本的世界模型近期展现出潜力，能够为多种用例模拟复杂的强化学习环境状态转换。然而，目前尚无标准化基准来比较、研究和改进这些模型。通过本文，我们试图解决这一问题，构建了 GlobeBench——一个新颖的基准，包含跨五个独立领域和十九项仿真技能的 1,632 个任务。这些任务检验模型能否在给定完整智能体轨迹的情况下，通过理解先前的状态变化、遵循环境规则，并预测动作对相关及不相关对象的影响，来预测环境对特定动作的响应。我们将预测的环境响应与执行得出的参考结果进行比较，采用兼具确定性门控和语义评判的混合架构。在 20 个通用大语言模型和专用文本世界模型中，GPT-6 Astra 以 49.57% 的任务成功率位居最高。我们发现，当动作影响环境的更大范围时，模型准确率会下降。具体而言，当智能体的变化必须传播到依赖对象时，全部 20 个模型的任务成功率平均降至 5.1%。尽管各模型在不同任务上的优势有所不同，仍有 631 个任务未被任何模型解决，这表明通用大语言模型作为世界模型的能力存在显著差距。
| 评论： | 代码：此 https URL ；数据：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22708 [cs.AI] |
| （或 arXiv:2610.22708v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22708 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Nicholas Saban [查看邮箱]
[v1]
2026年10月15日星期四 22:24:56 UTC（300 KB）
来源：arXiv cs.AI · arxiv.org