arXiv cs.AI· Linqiang Guo (Peter), Wei Liu (Peter), Li Gu (Peter), Yang Wang (Peter), Tse-Hsun (Peter), Chen·· 11 小时前AI 评分38
Q-Reflector:基于 Qwen3-VL-8B 学习带生成条件的 GUI 动作反思
Q-Reflector: Learning GUI Action Reflection with Generated Conditions
AI 导读
Q-Reflector 是基于 Qwen3-VL-8B 的独立反思模型,将 GUI 动作反思建模为监督式结构化预测,先生成动作前置与后置条件,再给出执行成功与任务有效性的二元判定。
正文 · AI 翻译
摘要:移动 GUI 智能体需要准确的动作反思,以实现可靠的长程执行,即评估每个动作是否成功执行,以及其结果是否构成朝向任务目标的有效步骤。在通用提示下作为独立反思器进行评估时,前沿 VLM 和专用 GUI 模型对有效与无效转换的识别表现出不均衡。我们提出 Q-Reflector,一个基于 Qwen3-VL-8B 的独立反思器,将 GUI 动作反思学习为有监督的结构化预测。给定任务上下文、已执行动作和成对截图,它生成前置条件和后置条件,指明该动作的前提条件和预期局部效果,然后通过结构化理由和二元判定来评估执行成功与任务有效性。训练结合了有监督微调、师生蒸馏以及基于奖励和偏好的精炼。在 1,082 个经人工验证的 AndroidWorld 转换上,Q-Reflector 达到 82.16% 的总体准确率,超过所有评估基线,并表现出比 GPT-5.2 和 GUI-Owl-1.5-8B 更均衡的性能。在 117 个 MobileWorld 任务上,Q-Reflector 在 GUI-Owl-1.5-8B-Instruct 下达到 46.15% 的任务成功率,在 MAI-UI-8B 下达到 35.90%,分别比无外部反思提升 17.09 和 14.53 个百分点。在相同的条件生成设置下,它分别比最强的反思基线 GPT-5.2 和 Claude Haiku 4.5 高出 3.42 和 5.98 个百分点。
| 评论: | 20 页,6 幅图。StepReflect 的修订和扩展版本。早期版本已被 ECCV 2026 第一届多模态数字智能体研讨会(MMDA)接收(非存档)。代码:此 https URL ;演示:此 https URL |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2608.05587 [cs.AI] |
| (或 arXiv:2608.05587v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2608.05587 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Linqiang Guo [查看电子邮件]
[v1]
2026 年 8 月 6 日星期四 04:17:27 UTC(735 KB)
[v2]
2026 年 10 月 15 日星期四 07:07:07 UTC(2,412 KB)
来源:arXiv cs.AI · arxiv.org