arXiv cs.AI· Bingchao Wang, Yongcheng Jing, Shunyu Liu, Chengyu Wang, Jun Huang, Jie Yang, Wei Liu, Dacheng Tao·· 12 小时前AI 评分38
GUI-JEPA：用候选条件化的 JEPA 潜变量作为移动 GUI 智能体的快速动作策略
GUI-JEPA: Candidate-Conditioned JEPA Latents as a Fast Action Policy for Mobile GUI Agents
AI 导读
GUI-JEPA 是首个基于 JEPA 架构、无需解码器的 GUI 智能体策略，在 JEPA 编码器的潜空间中直接选择动作，不逐 token 解码。在 AndroidControl 上，它比用相同输入微调的 Qwen2.5-VL-7B 智能体快 2.8-4.0x，仅用 6% 的参数就达到后者分布内准确率的 86-92%。
正文 · AI 翻译
摘要：移动 GUI 智能体通常是经过微调的 7B 规模视觉语言模型（VLM），它们将每个动作生成为文本。然而，这些 VLM 会逐个 token 解码每个动作，甚至对候选动作进行评分的智能体也会让大型语言模型或 VLM 保持在循环中，导致它们速度慢且内存消耗大。为解决这些问题，我们提出了 GUI-JEPA，据我们所知，这是首个基于联合嵌入预测架构（JEPA）的无解码器 GUI 智能体策略，它在预训练于无标签 GUI 截图的 JEPA 编码器的潜在空间中选择动作。其以动作和区域为条件的潜在预测器将屏幕潜在表示转换为每个候选动作对应的一个潜在表示，使轻量级头部能够在单次批量处理中对所有候选动作与指令进行评分，而无需解码任何 token。我们进一步表明，评分器依赖于这条潜在通路，并且预测器是针对决策本身进行训练的：随机初始化的预测器与在屏幕动态上预训练的预测器表现一样好。在 AndroidControl 上，GUI-JEPA 在相同 GPU 上比我们用相同输入微调的 Qwen2.5-VL-7B 智能体快 2.8-4.0 倍，同时以 6% 的参数达到其分布内准确率的 86-92%。代码可在 此 https URL 获取
| 评论： | 26 页，11 幅图，16 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| ACM 分类： | I.2.6；I.2.10 |
| 引用为： | arXiv:2610.36877 [cs.AI] |
| （或 arXiv:2610.36877v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36877 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bingchao Wang [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 09:17:51 UTC（734 KB）
来源：arXiv cs.AI · arxiv.org