arXiv cs.AI· Adamo Orsini, Seyed Mehdi Ayyoubzadeh, Sadman Rakib Pinon, Hannuo Zhang, Koosha Gholipour Baradari, Yuanhao Yu, Xinxin Zuo, Yang Wang·· 11 小时前AI 评分38
TAG-Nav：面向移动 GUI 导航的任务无关图探索框架
Not All Graphs Are Maps: A Task-Agnostic Exploration Framework for Mobile GUI Navigation
AI 导读
TAG-Nav 是一个任务无关的图导航框架，为现有 GUI 智能体加入可复用的目的地记忆，将离线探索蒸馏为应用功能、目标页面与路径点的紧凑记录。配套的 DestBench 仅评测导航、不涉及下游执行，图记忆使 UI-TARS-1.5-7B 严格导航成功率从 52.4% 提升至 58.3%，Qwen-VL-Max 从 59.5% 提升至 71.4%。
正文 · AI 翻译
摘要：现代移动 GUI 智能体能够感知可见屏幕并执行本地操作，但它们仍然缺乏持久的、针对具体应用的导航知识：功能位于何处、哪些页面包含这些功能，以及哪些屏幕在重复访问时是等价的。我们提出 TAG-Nav，一个任务无关的图导航框架，用可复用的目的地记忆包装现有的 GUI 智能体骨干。在任何被评估的指令出现之前，离线探索被提炼为应用功能、目标页面和路径点的紧凑记录。当未来任务的目的地被覆盖时，TAG-Nav 检索该目的地并提供路线引导，无需任务特定的演示。这将移动 GUI 目的地导航与完整任务完成分离：许多任务共享到达正确页面的前缀，而最终操作可能进入内容、发送数据、进行购买、删除信息或更改敏感设置。为了在不受下游执行干扰的情况下评估路线查找，我们引入 DestBench，一种仅导航协议，询问智能体是否到达正确的操作前目的地屏幕。DestBench 支持受控的图记忆研究，比较无记忆智能体与随机、自动 BFS 和干净图记忆。图派生记忆将 UI-TARS-1.5-7B 的严格导航成功率从无图记忆的 52.4% 提升到使用自动 BFS 记忆的 58.3%，并在相同条件下将 Qwen-VL-Max 的成功率从 59.5% 提升到 71.4%。TAG-Nav 和 DestBench 共同表明，目的地覆盖率和路线清洁度强烈影响图记忆的价值，使图质量成为可测量的变量，而不是探索的假定收益。
| 评论： | 被 AACL-IJCNLP 2026 Findings 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22672 [cs.AI] |
| （或此版本的 arXiv:2610.22672v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.22672 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Adamo Orsini [查看电子邮件]
[v1]
2026年10月15日星期四 21:40:34 UTC（5,535 KB）
来源：arXiv cs.AI · arxiv.org