arXiv cs.AI· Zichuan Fu, Shirong Wang, Wenlin Zhang, Guojing Li, Yimin Deng, Jingtong Gao, Junjia Qi, Hanyu Yan, Yefeng Zheng, Xiaopeng Li, Wanyu Wang, Xian Wu, Xiangyu Zhao·· 10 小时前AI 评分40
GUI-Lens：通过由粗到细裁剪让现成 VLM 实现精准 GUI 定位
GUI-Lens: Enabling Precise GUI Grounding for Off-the-Shelf VLMs via Coarse-to-Fine Cropping
AI 导读
GUI-Lens 是一个由粗到细的 GUI 定位框架，让通用 VLM 通过主动视觉观察逐步确定点击目标，在 ScreenSpot-Pro 上定位准确率最高达直接定位的 9.3 倍。
正文 · AI 翻译
作者：Zichuan Fu、Shirong Wang、Wenlin Zhang、Guojing Li、Yimin Deng、Jingtong Gao、Junjia Qi、Hanyu Yan、Yefeng Zheng、Xiaopeng Li、Wanyu Wang、Xian Wu、Xiangyu Zhao
摘要：GUI grounding 将自然语言指令映射到点击位置，对于可靠的 GUI 智能体至关重要。在高分辨率、元素密集的界面上，这项任务仍然困难，因为视觉语言模型（VLM）可能识别出所请求的控件，却无法足够精确地定位它以供交互。大多数现有方法提供各种形式的定位辅助，但仍依赖直接点击预测，使得视觉歧义或不准确的初始估计传播到最终结果。本文提出 GUI-Lens，一种由粗到细的 grounding 框架，使通用 VLM 能够通过主动视觉观察确定目标。具体而言，GUI-Lens 从截图中提取 OCR 文本和检测到的 UI 组件，并将其位置作为坐标参考呈现。利用指令、当前视图和这些参考，VLM 选择下一个视图的区域和尺度，该视图被裁剪并放大以提供更精细的视觉细节。这一过程在逐步聚焦的视图上持续进行，直到确定目标。在整个过程中，所提出的裁剪和点击都会对照指令进行检查，最终局部位置被映射回原始屏幕坐标。在五个 GUI grounding 基准和六个通用基础模型上的实验表明，GUI-Lens 持续提升 grounding 准确率，在 ScreenSpot-Pro 上达到直接 grounding 准确率的 9.3 倍。
| 评论： | 预印本。代码：此 https URL；项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.03270 [cs.CV] |
| （或 arXiv:2608.03270v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.03270 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shirong Wang [查看电子邮件]
[v1]
2026年8月4日星期二 07:47:37 UTC（714 KB）
[v2]
2026年10月30日星期五 05:45:06 UTC（763 KB）
来源：arXiv cs.AI · arxiv.org