arXiv cs.CL· Qingsong Xie, Jiahao Tian, Jiacheng Tang, Zhifeng Li, Madalina Ciobanu, Navan Preet Singh, Qingqing Mao, Ritankar Das·· 3 天前AI 评分32
GroundGUI：用高质量数据与蒸馏到强化学习实现 GUI 定位
GroundGUI: GUI Grounding by High-Quality Data and Distillation-to-Reinforcement Learning
AI 导读
研究团队提出 GUI 定位数据集 ScreenRef 与 Distillation-to-Reinforcement Learning（D2RL）方法，基于 Qwen3-VL-8B-Instruct 经 SFT 与 D2RL 顺序训练得到 GroundGUI-8B。
正文 · AI 翻译
摘要：构建稳健的 GUI 智能体依赖于多模态视觉定位：即精确地将自然语言意图映射到屏幕上可操作的组件的能力。尽管桌面、网页和移动端基准已相当丰富，但针对多样化环境的高保真资源却出奇地稀缺。为弥补这一空白，我们推出了 Screen Referring Grounding Dataset（ScreenRef），一个全面的 GUI 定位数据集，由 GUI 截图与自然语言指代表达及框或点标注配对组成。ScreenRef 涵盖桌面、网页和移动端领域，包含 586K 张截图和超过 633K 个指代表达实例，覆盖文本识别、视觉匹配、空间理解和拒绝场景等任务。为提升模型的定位性能，我们提出了蒸馏到强化学习（Distillation-to-Reinforcement Learning，D2RL）方法，以解决监督微调泛化能力有限以及强化学习中奖励稀疏的问题。利用 ScreenRef，我们通过顺序 SFT 和 D2RL 训练对 Qwen3-VL-8B-Instruct 进行训练，得到 GroundGUI-8B。GroundGUI-8B 在 ScreenSpot-V2 上达到 95.2%，在 ScreenSpot-Pro 上达到 63.9%，在 OSWorld-G 上达到 65.4%，在 MMBench-GUI L2 上达到 86.8%，在 UI-Vision 上达到 38.3%。在 8B 规模模型中，它相较于在开源数据集上训练的模型取得了显著提升，性能与在闭源数据上训练的模型相当甚至更优。代码、模型和数据集可在 此 https URL 获取。
| 评论： | 18 页，6 幅图，9 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.19100 [cs.AI] |
| （或 arXiv:2610.19100v1 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2610.19100 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qingqing Mao [查看邮箱]
[v1]
2026 年 10 月 13 日星期二 19:37:49 UTC（5,351 KB）
来源：arXiv cs.CL · arxiv.org