arXiv cs.CL· Wenjun Hou, Kaishuai Xu·· 14 小时前AI 评分34
PreView：用预处理视图与线索增强 GUI Grounding
PreView: Enhancing GUI Grounding with Preprocessed Views and Cues
AI 导读
PreView 是一种无需额外训练即可提升现有 GUI grounding 模型精度的辅助预处理器，通过生成任务相关视图和候选专属线索改进模型输入。它用轻量辅助模型预测并细化中心点、裁剪并放大局部视图，同时提供红圈标记加位置提示的视觉线索和描述候选身份或功能的文本线索。
正文 · AI 翻译
摘要：GUI grounding 需要在杂乱的截图中定位小型控件，并识别自然语言指令所指的控件。裁剪和放大可以呈现局部细节，但所得图像仍可能使目标意图存在歧义。我们提出 PreView，这是一种辅助预处理器，可在不进一步训练现有 grounding 模型的情况下改进其输入。PreView 准备两类互补的输入特征：用于定位的任务相关视图，以及用于目标理解的候选特定线索。一个经过训练的轻量级辅助模型预测并细化中心，将截图裁剪为局部视图，并放大该视图以进行放大后的 grounding。它还准备一个视觉线索（即带有位置提示的红圈标记）和一个描述候选身份或功能的文本线索。冻结的 grounding 模型使用准备好的输入来预测最终点击。在五个基准上，PreView 在不进一步训练这些 grounding 模型的情况下，提高了 Qwen3-VL-2B、OS-Atlas-4B 和 Qwen3-VL-4B 的平均 grounding 准确率。大量分析考察了视图和线索、中心细化以及视觉输入预算的贡献。
| 评论： | 进行中的工作 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.33645 [cs.CV] |
| （或 arXiv:2610.33645v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33645 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenjun Hou [查看电子邮件]
[v1]
2026年10月24日星期六 12:54:08 UTC（5,209 KB）
来源：arXiv cs.CL · arxiv.org