arXiv cs.AI· Shufan Li, Konstantinos Kallidromitis, Akash Gokul, Yusuke Kato, Kazuki Kozuka, Aditya Grover·· 9 天前AI 评分32
MobileWorldBench：面向移动智能体的语义世界建模
MobileWorldBench: Towards Semantic World Modeling For Mobile Agents
AI 导读
研究者提出 MobileWorldBench，用于评估视觉语言模型（VLM）作为移动 GUI 智能体世界模型的能力，并发布含 1.4M 样本的 MobileWorld 数据集。他们还提出将 VLM 世界模型接入移动智能体规划框架的新方法，用自然语言描述状态转移而非预测像素，实验显示语义世界模型能直接提升移动智能体的任务成功率。代码与数据集已公开。
正文 · AI 翻译
摘要：世界模型在提升具身智能体任务表现方面展现出巨大效用。以往工作大多聚焦于像素空间世界模型，但这类方法在 GUI 场景中面临实际局限，因为预测未来状态中的复杂视觉元素往往十分困难。在本工作中，我们探索了 GUI 智能体世界建模的另一种形式，即用自然语言描述状态转移，而非预测原始像素。首先，我们提出 MobileWorldBench，一个用于评估视觉语言模型（VLM）作为移动 GUI 智能体世界模型能力的基准。其次，我们发布 MobileWorld，一个包含 140 万样本的大规模数据集，显著提升了 VLM 的世界建模能力。最后，我们提出一种新颖框架，将 VLM 世界模型集成到移动智能体的规划框架中，证明语义世界模型能够通过提升任务成功率直接惠及移动智能体。代码与数据集见 此 https URL
| 评论： | 21 页，13 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2512.14014 [cs.AI] |
| （或 arXiv:2512.14014v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2512.14014 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Shufan Li [查看邮箱]
[v1]
2025年12月16日 星期二 02:16:42 UTC（3,146 KB）
[v2]
2026年10月7日 星期三 23:06:49 UTC（3,215 KB）
来源：arXiv cs.AI · arxiv.org