arXiv cs.AI· Ruilin Yao, Xinyu Qiu, Tianyu Zou, Yi Rong, Shengwu Xiong, Shuheng Shen, Changhua Meng·· 12 小时前AI 评分42
LBS：从 GUI grounding 学习可迁移的主动视觉观察能力
Learning to Look Beyond Screens: Transferable Visual Observation from GUI Grounding
AI 导读
研究者提出 LBS（Look Beyond Screens），先以教师生成的 GUI grounding 轨迹做监督初始化，再用强化学习训练多轮裁剪-检查决策。
正文 · AI 翻译
摘要：视觉感知正从被动识别向主动的、面向任务的观察演进。我们将 GUI 定位作为空间监督的可扩展来源加以研究，用于学习可迁移到界面之外的观察行为。我们提出 LBS（Look Beyond Screens），这是一种视觉语言模型，先通过在教师生成的 GUI 定位轨迹上进行监督初始化训练，随后通过强化学习进行多轮裁剪与检查决策。在固定推理设置下，基于 Qwen3.5-35B-A3B 和 Qwen3.8-27B 的 LBS 模型均持续优于相应的基线。超越监督微调的增益在两个骨干模型上均迁移至 PerceptionBench，并在 Qwen3.5-35B-A3B 上迁移至 HR-Bench 和 ChartQAPro，支持了可泛化到 GUI 特定模仿之外的观察策略。进一步分析表明两个阶段具有互补作用：SFT 建立视觉检查原语，而 RL 提升其下游有效性。这些发现支持将 GUI 定位作为一种实用的监督范式，用于可迁移的主动视觉感知和更广泛的多模态推理。我们的代码和模型分别公开于 此 https URL 和 此 https URL。
| 评论： | 技术报告 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37093 [cs.CV] |
| （或 arXiv:2610.37093v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37093 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ruilin Yao [查看邮箱]
[v1]
2026年10月27日星期二 11:56:00 UTC（6,751 KB）
来源：arXiv cs.AI · arxiv.org