arXiv cs.AI· Kyeongseon Kim, Jiyeon Son, Tae-Hyun Oh·· 11 小时前AI 评分47
IGG：评估可见性约束下交互式 GUI Grounding 的基准
IGG: A Benchmark for Interactive GUI Grounding under Visibility Constraints
AI 导读
研究者提出 IGG 基准，要求智能体先通过交互让目标可见再点击，包含 16 个可控 GUI 环境、7 类可见性约束子类型共 601 个任务。人类准确率达 94.6%，GPT-5.5 为 79.4%，最强开源 VLM 仅 31.6%。干预实验显示 Qwen3-VL 被告知交互动作仅从 30.8% 升至 33.9%，而由外部代为执行交互可升至 81.9%，瓶颈在于执行揭示交互而非识别目标。
正文 · AI 翻译
摘要：GUI grounding 基准测试考察的是智能体能否定位静态截图中已经可见的目标。真实界面往往违背这一假设：目标可能位于屏幕之外、仅在状态变化或悬停后才出现、持续被遮挡，或在延迟后才变得可操作。这使得恢复目标可见性的能力未被评估。为了衡量这一揭示步骤，我们引入了交互式 GUI Grounding（IGG）基准，其中智能体必须首先通过交互使目标可见，然后再点击它。IGG 包含 601 个任务，覆盖 16 个可控 GUI 环境和七种可见性约束子类型，动作空间紧凑，包括滚动、移动、拖拽、等待和点击。在我们的人类研究中，参与者达到 94.6% 的准确率，而 GPT-5.5 达到 79.4%，评估中最强的开源 VLM 仅达到 31.6%。为找出这一差距的来源，我们进行了两项受控干预。告知 Qwen3-VL 应执行哪种交互仅将其准确率从 30.8% 提升到 33.9%，而替模型执行该交互则将其提升到 81.9%。瓶颈在于执行揭示交互，而非在目标暴露后识别目标。我们进一步表明这一能力是可学习的，证明可见性恢复可以在不同模型系列中一致地得到增强。
| 评论： | 已被 EMNLP 2026（主会议）接收。24 页。项目页面：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32536 [cs.AI] |
| （或 arXiv:2610.32536v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32536 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiyeon Son [查看电子邮件]
[v1]
2026 年 10 月 23 日星期五 12:14:28 UTC（40,935 KB）
来源：arXiv cs.AI · arxiv.org