arXiv cs.AI· Pengcheng Zhou, Xuanyu Liu, Yanchen Yin, Tianjie Ju, Bobo Li, Shengqiong Wu, Hao Fei, Mong-Li Lee, Wynne Hsu·· 1 天前AI 评分31
LiveGeo：在持续演化世界中评测地理智能体
LiveGeo: Benchmarking Geographic Agents in Continuously Evolving Worlds
AI 导读
研究团队推出 GeoWorld 可控且持续演化的地理环境平台，以及基于该平台的基准 LiveGeo，用于评测 LLM 智能体在真实地理环境中的可靠决策。LiveGeo 要求智能体主动获取任务相关信息、验证支撑先前决策的证据是否仍然有效，并在必要时修正计划。结果显示，即便是前沿 LLM 在静态任务上也表现吃力，没有模型能在各任务上持续领先，而强大的静态表现并不能保证动态可靠性。
正文 · AI 翻译
摘要：我们推出 GeoWorld，一个面向 LLM 智能体的可控且持续演进的地理环境平台，以及 LiveGeo，一个使用 GeoWorld 评估真实世界地理环境中可靠决策的基准。与现有主要在固定地理状态上进行推理和规划的评测不同，GeoWorld 以真实世界地理结构为基础，允许外部世界状态沿其自身的时间过程演进，同时保留可验证的状态历史。LiveGeo 将地理任务置于这一演进环境中，要求智能体主动获取与任务相关的信息，验证支持先前决策的证据是否仍然有效，并在必要时修订其计划。我们的结果表明，即使是前沿 LLM 也难以应对静态任务，没有模型能在各项任务中始终表现出色，而强大的静态性能并不能保证动态可靠性。进一步分析识别出一个关键瓶颈：智能体难以获取相关证据并将其转化为有效决策，也难以在世界演进过程中保持其正确性。通过发布 LiveGeo 及其 GeoWorld 平台，我们旨在为社区提供灵活且可扩展的基础设施，用于研究能够在不断演进的地理世界中可靠行动的下一代智能体。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.17267 [cs.AI] |
| （或 arXiv:2611.17267v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.17267 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pengcheng Zhou [查看邮箱]
[v1]
2026年11月12日 星期四 18:45:58 UTC（44,615 KB）
来源：arXiv cs.AI · arxiv.org