arXiv cs.AI· Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei Chu, Ninghao Liu·· 11 小时前AI 评分29
面向 GUI grounding 的质量感知自蒸馏方法
Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding
AI 导读
研究提出面向 GUI grounding 的质量感知自蒸馏方法，通过对教师预测做直接空间正确性校验来改进 on-policy 自蒸馏（OPSD）。软门控会检查教师最高概率的坐标 token 在学生生成前缀下能否补全为真实边界框，校验失败时降低该信号权重，再用教师概率缩放进一步校准监督。实验显示两个组件单独使用均不提升整体性能，组合后则在六个 GUI grounding 基准上稳定优于基线。
正文 · AI 翻译
摘要：GUI grounding 要求视觉语言模型（VLM）在高分辨率截图中识别小目标元素并预测精确的屏幕坐标。On-policy self-distillation（OPSD）是面向这一坐标敏感任务的一种有前景的后训练方法，因为它能提供超越硬坐标标签的密集 token 级教师信号。然而，朴素的 OPSD 并不适合 GUI grounding：由于教师是在学生生成的前缀上评估的，一旦前缀偏离目标坐标，其坐标 token 信号就可能变得不可靠。我们提出面向 GUI grounding 的质量感知自蒸馏，其核心是对教师预测进行直接的空间正确性验证。一个软门控会检查教师最可能的坐标 token 预测在学生生成的前缀下是否仍能补全为真值框，并在检查失败时降低该信号的权重。随后，教师概率缩放利用教师的置信度进一步校准门控后的监督。一个关键的经验发现是，单独使用任一组件都不能提升整体性能，而将二者结合则能持续提升。这表明两种机制发挥互补作用：门控抑制不可靠的坐标 token 监督，而概率缩放校准剩余信号。在六个 GUI grounding 基准上的实验表明，我们的方法持续优于基础模型，并优于强基线。
| 评论： | 修正了一些表述 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.18101 [cs.AI] |
| （或 arXiv:2606.18101v3 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.18101 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jingyuan Huang [查看邮箱]
[v1]
2026年6月16日星期二 16:02:41 UTC（3,732 KB）
[v2]
2026年6月17日星期三 08:58:52 UTC（3,732 KB）
[v3]
2026年10月23日星期五 02:03:47 UTC（523 KB）
来源：arXiv cs.AI · arxiv.org