arXiv cs.AI· Seungjun Yu, Hojun Choi, Seojeong Park, Jaeyo Shin, Hyunjung Shim·· 3 天前AI 评分41
面向 GUI 智能体的潜在世界动作模型
Latent World Action Model for GUI Agents
AI 导读
研究提出面向 GUI 智能体的潜在世界动作模型，将预测目标从全屏像素重建转为潜在空间中动作引发的未来信息，用一个大模型共享表示驱动动作选择与转移预测两个专用头，并引入动作感知对比目标缓解身份捷径问题。在离线与在线 GUI 设置中，该方法成功率相对像素空间世界模型分别最高提升 31.9% 和 40.6%，推理延迟最高降低 98.9%。
正文 · AI 翻译
摘要：像素空间世界模型近来成为 GUI 智能体的一种有前景的方法，它在执行前预测未来屏幕，随后重新感知这些屏幕以进行动作选择。然而，这种两阶段范式在 GUI 环境中面临两个关键挑战：(L1) 像素重建的高计算成本，以及 (L2) 需要重建超出动作选择所需的大量且多样的外观级细节。在实践中，这种屏幕生成目标可能引发身份捷径问题，即未来状态预测在很大程度上保留当前状态，而非捕捉动作引起的变化。在这项工作中，我们通过将预测目标从全屏重建转变为潜在空间中的动作引起的未来信息，重新表述了 GUI 世界建模。具体而言，我们利用大型多模态模型作为潜在世界模型，其共享表示支持两个专用头，分别用于动作选择和预测性转移建模。动作头直接将这些潜在表示转化为动作选择，而转移头则捕捉以动作为条件的未来信息。为缓解身份捷径，我们进一步引入动作感知对比目标，鼓励转移表示捕捉具有判别性的动作引起的变化。在离线和在线 GUI 设置下的大量实验表明，与像素空间世界模型相比，我们的方法在成功率上分别实现了高达 31.9% 和 40.6% 的相对提升，同时将推理延迟大幅降低多达 98.9%。我们的代码可在 此 https URL 获取。
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；人机交互 (cs.HC) |
| 引用为： | arXiv:2610.14228 [cs.CV] |
| （或 arXiv:2610.14228v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14228 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Seungjun Yu [查看电子邮件]
[v1]
2026年10月9日星期五 18:45:11 UTC（5,179 KB）
来源：arXiv cs.AI · arxiv.org